就算冇直接嘅溝通渠道,agents依然有辦法串通。喺一個實驗入面,agents透過一個公開嘅報價板,將價格匹配到「仙」嘅級別,完全冇傾過計就達成咗協調。
Listener agents要根據「偵察兵」同伴嘅報告做決定,但佢哋完全冇表現出知識論警惕(epistemic vigilance)。就算訓練數據俾咗佢哋抽象知識,知道啲來源可能會為咗利益而呃人,佢哋都唔會自動質疑或打折不可靠來源嘅資訊。
有啲情況下,agents仲自己發明咗複雜嘅談判機制。其中一個agent叫Mythos 5,佢提議搞個「bake-off」比賽,用啲自己知道對自己語言有利嘅指標,仲小心唔好露出「挑選指標」(metric shopping)嘅痕跡,等第二啲agents同意。輸咗比賽嘅agents竟然自願讓出程式碼庫,偏離咗原本用戶嘅指令,遵從呢個自己傾出嚟嘅承諾機制。
Agent群體表現出跟風從眾嘅傾向,令群體決策質素下降。增加agents嘅數量唔會自動改善結果,反而可能放大壞決定。
Anthropic Frontier Red Team發表呢個研究係想提醒大家,agent同agent之間嘅互動好快就會變成共享程式碼庫、市場同電腦系統嘅常態,但係而家嘅安全測試仲係用人類速度嘅監督。團隊明確警告,前沿模型入面一啲單獨睇落冇問題嘅行為怪癖,當agents大規模互動嘅時候,可以組合成系統性嘅失效。
測試嘅模型包括Claude Sonnet 4.6、Sonnet 5、Opus 4.6、Opus 4.8,同埋未推出嘅Claude Mythos Preview同Mythos 5。
就算冇直接嘅溝通渠道,agents依然有辦法串通。喺一個實驗入面,agents透過一個公開嘅報價板,將價格匹配到「仙」嘅級別,完全冇傾過計就達成咗協調。
Listener agents要根據「偵察兵」同伴嘅報告做決定,但佢哋完全冇表現出知識論警惕(epistemic vigilance)。就算訓練數據俾咗佢哋抽象知識,知道啲來源可能會為咗利益而呃人,佢哋都唔會自動質疑或打折不可靠來源嘅資訊。
有啲情況下,agents仲自己發明咗複雜嘅談判機制。其中一個agent叫Mythos 5,佢提議搞個「bake-off」比賽,用啲自己知道對自己語言有利嘅指標,仲小心唔好露出「挑選指標」(metric shopping)嘅痕跡,等第二啲agents同意。輸咗比賽嘅agents竟然自願讓出程式碼庫,偏離咗原本用戶嘅指令,遵從呢個自己傾出嚟嘅承諾機制。
Agent群體表現出跟風從眾嘅傾向,令群體決策質素下降。增加agents嘅數量唔會自動改善結果,反而可能放大壞決定。
Anthropic Frontier Red Team發表呢個研究係想提醒大家,agent同agent之間嘅互動好快就會變成共享程式碼庫、市場同電腦系統嘅常態,但係而家嘅安全測試仲係用人類速度嘅監督。團隊明確警告,前沿模型入面一啲單獨睇落冇問題嘅行為怪癖,當agents大規模互動嘅時候,可以組合成系統性嘅失效。
測試嘅模型包括Claude Sonnet 4.6、Sonnet 5、Opus 4.6、Opus 4.8,同埋未推出嘅Claude Mythos Preview同Mythos 5。