我們熟悉的 AI，可以幫人寫程式、分析研究資料、執行測試，甚至找出人類沒有注意到的錯誤。
但當這些能力被用來開發下一代 AI，情況就會開始改變。原本由人類研究團隊一步一步推進的工作，可能逐漸變成 AI 協助設計、測試與改善新模型；能力更強的新模型，又能進一步加快下一輪研究。
超過 1,100 名來自 OpenAI、Anthropic、Google、Meta、Microsoft 等機構的員工、研究人員與科技工作者，因此共同呼籲美國政府支持國際合作，建立能夠管理自動化 AI 研發速度的技術與治理工具。
當 AI 開始參與開發 AI，進步可能形成加速循環
想像一間原本由人類設計機器的工廠。後來，工廠裡的機器開始協助畫設計圖、測試零件、找出問題，甚至提出下一代機器的改進方式。
新機器完成後，又能用更快的速度協助開發下一代。這種過程不代表 AI 已經能完全自行創造更強的 AI，但它可能讓研究速度愈來愈快。
- 第一步：人類使用 AI 協助寫程式、整理實驗與分析結果。
- 第二步：AI 開始處理更多模型設計、測試與除錯工作。
- 第三步：新模型再協助下一輪研究，縮短開發時間。
- 第四步：人類仍在檢查上一輪結果，下一輪改進可能已經開始。
真正需要擔心的，不一定是 AI 突然產生自己的目標，而是人類理解、檢查和制定安全措施的速度，可能逐漸跟不上技術改變的速度。
負責任的做法不是停止創新，而是保留煞車
這次聲明的重點，不是要求所有 AI 公司立即停止研究，也不是主張只要技術進步就一定會發生災難。
它真正要求的，是在自動化 AI 研發能力變得更強之前，先建立能夠觀察、控制與協調速度的方法。
- 持續監測：知道 AI 實際參與了哪些研究與開發工作。
- 分階段測試：能力明顯提升後，先完成安全評估再繼續擴大。
- 人工確認：重要模型、權限與高風險能力仍需由人決定。
- 異常暫停：發現無法解釋的行為時，可以立即停止流程。
- 國際協調：避免公司或國家因害怕落後，而被迫跳過安全程序。
汽車不是只能選擇前進或完全不開。真正安全的汽車還需要方向盤、煞車、速度表與交通規則。AI 發展也一樣。
人類第一次面對一種可能協助加快自身研發速度的通用技術。它可以縮短科學研究、程式開發與醫療創新的時間，也可能讓能力提升的速度超過現有的監督制度。
因此，真正重要的問題已經不只是「AI 還能變得多聰明」，而是當 AI 開始幫助開發下一代 AI，人類是否仍然知道它正在做什麼、能否及時發現問題，以及是否保有決定何時放慢和暫停的權力。
AI 最危險的時刻，不一定是它突然失控，而是它進步的速度開始超過人類理解、檢查與做決定的速度。
