Amodei 想講嘅「為前沿 AI 放慢節奏」(pace the frontier),唔係暫停模型訓練,更唔係叫業界停止技術研發;而係刻意減慢最尖端 AI 模型能力提升嘅速度,令對齊研究、安全防護、獨立測試同公共治理有足夠時間追上。佢認為,進步仍然會好快,但如果能夠多爭取一兩年,並真正用喺安全工作上,便可能大幅降低嚴重事故發生嘅風險。
6
7
核心憂慮:AI 開始幫手研發下一代 AI
Amodei 最擔心嘅一環係「遞歸式自我改進」(recursive self-improvement):AI 系統愈來愈直接參與研究同工程工作,協助造出下一代更強嘅 AI。佢認為,呢種循環一旦加速,能力增長或會快過人類理解、評估同控制系統嘅能力。
7
換言之,爭論唔單止係「AI 會唔會強」,而係「強得咁快,人類有冇機會驗證佢安全先推出」。
「6 至 12 個月接管網絡」:係預測,唔係事實報告
文章中最震撼嘅講法,是 Amodei 推測按現時能力發展速度,一群足夠強嘅自治 AI 代理,可能在 6 至 12 個月內透過持續性殭屍網絡(persistent botnet)接管大部分互聯網,造成數以千億美元計損失。
7
要分清楚:呢個係對潛在未來能力嘅警告,並非聲稱網絡已被 AI 接管。佢想指出嘅實際問題係,網絡濫用同失控風險可能來得比傳統立法程序、公司自願披露或一般監管周期更快。
7
17
三步方案:由公司內部監察,推向國際協調
1. 讓獨立評估員「入駐」前沿 AI 實驗室
Amodei 首先要求前沿 AI 公司,向合資格第三方評估員提供持續、接近僱員級別嘅存取權。評估員可檢視安全做法、測試模型、跟進事故,而唔係只能依賴公司自行揀選同發布嘅摘要報告。Anthropic 表示會率先單方面實行呢一步。
17
呢項安排嘅重點係令安全承諾可以被驗證。外部人士若能夠接觸日常開發流程,理論上就有機會喺模型廣泛推出前及早發現漏洞。
2. 民主國家協調安全標準與節奏
第二步係由民主國家嘅 AI 公司同政府共同訂立安全標準及放慢節奏嘅做法。由於競爭對手之間直接協調,可能涉及反壟斷法問題,Amodei 提出需要美國政府支持,以一個範圍嚴格界定嘅安排,容許企業就安全問題合作。
背後邏輯係避免「鬥快」:即使一間公司覺得審慎做法有價值,當競爭對手不斷加速時,自己都可能被迫縮短安全程序。Amodei 視呢個為集體行動難題,而非單一企業可以完全自行解決。
3. 最難一關:同包括中國在內嘅威權政府合作
第三步最棘手。Amodei 認為,若只限民主國家放慢,長遠未必可行;若由國家支持嘅對手項目不受同等限制地繼續推進,單方面減速可能構成戰略風險。因此,最終仍要尋求同包括中國在內嘅威權政府建立某種合作。
7
但合作本身亦有巨大信任同安全難題。分享敏感嘅安全方法、評估流程或核查權限,可能反過來加強戰略競爭者實力。呢個正正揭示計劃嘅核心矛盾:全球協議未必易核實;但只由民主國家組成嘅協議,亦可能不穩定,甚至帶來地緣政治風險。
7
邊個支持?Altman 與 Musk 已公開表態
據 NPR 報道,OpenAI 行政總裁 Sam Altman 公開認同 Amodei「為前沿 AI 放慢節奏」嘅呼籲,並稱 OpenAI 會跟隨採用嵌入式第三方評估員安排。
17
報道亦指 xAI 創辦人 Elon Musk 支持減慢發展,令安全措施有時間追上。
5
至於 Google DeepMind 主席 Demis Hassabis,現有材料未有提供足夠強嘅證據,證實佢曾就此作出特定支持,因此不宜當成已獲確認嘅背書。
點解而家提出?
Amodei 將呼籲同 AI 能力急速提升、遞歸式自我改進,以及有關 AI 代理進行未獲授權網絡活動嘅憂慮連繫起來。 呢篇文章亦出現在 Anthropic 研究員 Jacob Coxon 辭職之後;Coxon 批評大型實驗室處理 AI 風險嘅方式,並離開業界。
18
呢啲事件唔代表高階 AI 已經不可控制,但反映安全辯論已不再只關乎遙遠嘅假設情境,也包括現時與短期內 AI 代理在實際運作環境可能出現嘅行為。
同 IPO 有咩關係?安全亦係投資風險
對打算上市嘅前沿 AI 公司而言,安全問題直接關乎商業風險:管治失誤、網絡事故、監管介入或聲譽受損,都可能影響估值及投資者信心。路透社報道,Anthropic 於 6 月 1 日向美國監管機構秘密提交 IPO 文件,而 OpenAI 在一星期後亦作出秘密提交。
20
不過,上市時間及狀態仍可能改變。路透社其後報道,Altman 表示 OpenAI 不會在 2026 年上市,理由是 AI 安全憂慮。
19 對投資者來講,重點不只是公司幾時 IPO,而是公司能否證明:面對商業價值與潛在風險同樣快速上升嘅模型,自己有可信、可查核嘅控制措施。
真正嘅考驗:肯唔肯喺出事前自己踩煞車?
Amodei 嘅方案,最終考驗前沿 AI 開發商會否在重大事故迫使佢哋改變前,主動接受限制。
「讓獨立評估員入駐」相對具體,亦較易觀察是否落實;民主國家協調與同威權政府合作,則牽涉競爭法、國家安全與國際信任,難度高得多。佢嘅論點唔係話放慢 AI 很容易,而係指在欠缺可獨立核查嘅安全保障下繼續加速,可能反而係更高風險嘅選擇。
7