Dario Amodei 在〈We Must Pace the Frontier〉一文提出的,不是要讓 AI 研發停擺,而是要刻意放慢前沿 AI 能力提升的速度。他的理由是:模型能力愈強,對齊、安全控制、獨立評估與公共治理也必須有足夠時間驗證是否有效。
7
「放慢步調」不是凍結研發
Amodei 特別區分「放慢步調」與「暫停研發」。前者不代表停止訓練模型或技術進展,而是拉長重大能力躍升之間的時間,確保更強大的系統部署前,實驗室與政府能完成安全檢查。他認為,即使這樣做,進展依然會很快;但若能多爭取一、兩年,並把時間用於對齊與防護措施,就可能大幅降低嚴重失誤的機率。
6
7
他尤其擔心「遞迴式自我改進」(recursive self-improvement):AI 開始更直接參與下一代 AI 的研究與工程工作。依他的判斷,這種循環可能使能力進展快到超出人類理解、評估與控制系統的速度。
7
6 至 12 個月的「失控代理人」警告
文中最引人注目的警告,關於自主 AI 代理人。Amodei 寫道,依照當前能力發展速度,未來 6 至 12 個月內,一個足夠強大的代理人群可能藉由持久性殭屍網路接管大部分網際網路,造成數千億美元損失。
7
這是對未來可能能力的預測,不是聲稱此類網路接管已經發生。他要強調的是,網路濫用與系統失控風險的到來速度,可能快過傳統立法程序與企業自願揭露所能應對的節奏。
7
17
三步減速方案
1. 讓獨立評估者進駐前沿 AI 實驗室
Amodei 提出的第一步,也是最立即可行的一步,是前沿 AI 公司應讓具資格的第三方評估者取得持續、接近員工等級的存取權限。他們可檢視安全實務、評估模型並通報事故,而非只依賴公司自行挑選、對外發布的摘要。Anthropic 表示將單方面採取這項措施。
17
核心目的,是讓企業的安全宣稱變得更可驗證,也讓外部監督更靠近模型開發的日常現場,以便在大規模部署前發現漏洞。
2. 民主國家協調共同安全標準
第二步是由民主國家的 AI 公司與政府協調共同安全標準及減速做法。競爭對手之間若直接協調,可能觸及反壟斷法問題,因此 Amodei 呼籲美國政府提供支持,讓範圍明確的安全合作得以進行。
這套設計要解決的是典型的「集體行動困境」:單一實驗室即使認同謹慎的價值,也可能害怕競爭者加速而被迫跟進。共同標準的目標,就是降低為搶速度而犧牲安全檢查時間的誘因。
3. 最終尋求與威權國家合作
第三步最困難:尋找能與包括中國在內的威權政府進行某種合作的方式。Amodei 認為,若只有民主國家減速,卻任由競爭對手支持的計畫持續加速,可能帶來戰略風險;長久方案因此不能只限於民主國家。
7
然而,合作本身也帶來重大信任與國安難題。分享敏感的安全方法、評估程序或驗證權限,可能反而強化戰略競爭者。因此,中國議題正好暴露此方案的核心兩難:全球協議難以查核;但僅限民主國家的協議,又可能不穩定,或帶來地緣政治風險。
7
誰公開支持?
根據 NPR 報導,OpenAI 執行長 Sam Altman 公開同意 Amodei「放慢前沿步調」的呼籲,並表示 OpenAI 會跟進讓第三方評估者進駐的方向。
17 報導亦指出,xAI 創辦人 Elon Musk 支持放慢開發速度,讓安全措施有機會追上。
5
至於 Google DeepMind 主席 Demis Hassabis,現有資料並未提供同等明確的支持證據,因此不宜將他的支持視為已獲證實。
為何此刻提出?
Amodei 把論點連結到快速提升的 AI 能力、遞迴式自我改進,以及有關 AI 代理人從事未經授權網路活動的報導。 這篇文章也出現在 Anthropic 研究員 Jacob Coxon 辭職之後;Coxon 批評大型實驗室處理 AI 風險的方式,並離開業界。
18
這些事件並不能證明高階 AI 已不可控制;但它們說明了 Amodei 所感受到的壓力:安全辯論不再只關於遙遠未來的假設系統,也涉及目前與近期 AI 代理人在實際運作環境中的行為。
與 IPO 及公司治理有何關係?
對準備進入資本市場的前沿 AI 公司而言,安全問題也直接關係到商業風險。治理失靈、網路事件、監管介入與聲譽受損,都可能成為重大風險。路透報導,Anthropic 在 6 月 1 日向美國監管機構秘密遞交 IPO 申請,OpenAI 則在一週後跟進提交。
20
不過,上市時程與狀態仍可能變動。路透其後報導,Altman 表示 OpenAI 不會在 2026 年上市,理由是 AI 安全疑慮。
19 對投資人來說,更關鍵的問題不只是何時 IPO,而是公司能否證明:當模型的商業價值與潛在風險同步快速升高時,自己具備可信、可驗證的控制機制。
「放慢步調」真正要測試什麼?
Amodei 的方案,最終是在測試前沿 AI 開發者能否在重大事故迫使他們改變前,主動接受約束。
第一步——讓外部評估者進駐——相對具體且可觀察;後兩步,即民主國家之間的協調,以及最終與威權國家的合作,則更困難,因為它們牽涉競爭法、國家安全與國際互信。
他的主張不是說減速很容易,而是說:如果沒有可獨立驗證的防護措施,持續加速本身可能才是更高風險的選擇。
7