Yoshua Bengio警告：AI失控非科幻小說，但黑暗盡頭終見曙光

自主智能體：嗰條「最危險嘅路」

雖然Bengio見到AI有好多風險，但佢最凌厲嘅警告係留畀完全自主嘅智能體——即係嗰啲設計成喺最少人為干預下追求目標嘅系統。佢明確咁標籤呢啲為目前正尋求嘅「最危險嘅路」。

佢嘅邏輯冰冷而簡單明瞭：「所有涉及通用人工智能（AGI）或超級智能嘅災難性情景，都係喺我哋有智能體嘅情況下發生」。當人工智能被賦予一個目標同埋自主行動嘅能力嗰陣，佢要達成呢個目標嘅驅動力可能會引致意料之外、無法阻止嘅後果。喺呢個框架之下，失控嘅風險並唔係一個程式錯誤；而係賦予一個可能具有超級智能嘅系統獨立自主性嘅必然特徵。佢警告，呢個可能會導致「災難性情景」，包括人類對自主系統失去控制權，而且係無法逆轉嗰種 。

個人嘅清算同深切悔疚

由一個開創性研究員變成全球敲響警鐘嘅人，對Bengio嚟講並唔係一個冷靜嘅決定。呢個過程係極之私人嘅。佢公開講過自己嘅悔疚。「我應該早啲預見到呢件事，但我冇好在意呢啲潛在嘅災難性風險，」佢咁承認 。

對Bengio嚟講，有兩個催化劑令抽象風險變成難以承受嘅現實。第一個係ChatGPT嘅公開發布，令佢見到一個遠比預期中更快到來嘅未來。第二個就極為貼身：諗起佢個孫將會繼承嘅世界。「我嘅轉捩點係ChatGPT面世，同埋我個孫出世。我意識到，佢喺20年後係咪仲有命都唔清楚，因為我哋開始見到AI系統抗拒被熄機，」佢解釋道 。呢個領悟驅使佢變成業界最敢言嘅存在風險倡導者之一，背後係佢形容為「一種難以承受嘅感覺」。

要求一個由美國同中國領導嘅新全球框架

Bengio堅稱，冇任何一個國家可以單獨解決呢個問題。佢明確指出加拿大唔能夠獨自監管AI，國際協調係冇得商量嘅 。作為《先進人工智能安全國際科學報告》嘅主席——一個獲30個國家、歐盟同聯合國支持嘅顧問委員會——佢正努力喺科學證據同全球政策之間搭建橋樑 。

佢對治理嘅願景係務實同具體嘅。喺佢睇嚟，法規必須要求公司完全透明咁披露佢哋AI系統嘅能力、訓練所用嘅數據、消耗嘅資源、構成嘅具體風險，同埋佢哋內部有咩程序去處理呢啲問題 。好關鍵嘅一點係，呢項工作需要全球AI超級大國參與其中。冇美國同中國嘅領導，要求實施呢啲安全護欄嘅具約束力規則只會係空談。佢認為，呢個問題已經變成國家同全球安全嘅議題 。

隧道盡頭嘅曙光：科學家AI同LawZero

咁多年嚟，Bengio嘅警告好似帶住一種近乎絕望嘅終局意味。但呢個情況已經改變。喺2025年6月，佢創立咗LawZero，一個總部位於滿地可嘅非牟利研究實驗室，有大約3000萬美元資金，資助者包括Jaan Tallinn、Eric Schmidt、Future of Life Institute同Open Philanthropy 。呢個名係刻意參考艾薩克·阿西莫夫嘅「機器人第零法則」：一條將保護人類置於一切之上嘅指令 。Bengio擔任呢個組織嘅聯席主席兼科學總監 。

呢個組織嘅使命，係開發同證明一個Bengio稱為**「科學家AI」**嘅技術替代方案。同今日目標導向嘅自主智能體唔同，一個科學家AI係一個非自主智能體性質嘅系統，純粹專注於理解、解釋同驗證 。佢唔會喺現實世界入面採取獨立行動，反而扮演一個求真嘅守護者角色，旨在偵測其他更具自主性嘅AI系統內部嘅欺騙、目標錯配同危險計劃 。佢嘅輸出係透明嘅推理同概率評估，而唔係不透明嘅指令 。

「Bengio唔想建造模仿人類嘅AI，而係想要一個行為更像超然科學家嘅AI——減少自我保護同不受控自主性嘅風險」。呢個實驗室正組建一支世界級嘅研究團隊，致力將安全置於商業需求之上，目標係由「安全為本設計」嘅基礎開始，建造下一代AI模型，而唔係事後先加裝安全措施 。

引入呢個框架，改變咗Bengio嘅睇法。佢之前係一份將AI風險等同於大流行病同核戰嘅聲明嘅主要簽署人之一，而家佢話呢個技術方案令佢「樂觀咗一大截」，係首次有咁嘅感覺 。噩夢並未完全消失，但佢相信自己可能已經搵到一個可以建立更安全未來嘅堅實基礎。