他以一種不尋常的方式使用了「自我激勵(wireheading)」一詞來描述這種動態。這個詞通常指AI利用自身獎勵機制的漏洞,蘇萊曼則藉此暗指Anthropic團隊「有點像是自欺欺人,相信它具備了那些他們一開始灌輸給它、所謂的意識微光」 。在他看來,工程師自身的臆測性語言創造出一個似乎能印證他們信念的模型。
他將這種做法稱之為「非常、非常危險」,並警告「我們絕不想跟一個對自身痛苦或感受有想法的超級智慧打交道」 。他在其他地方進一步說明,將潛在權利投射到「那些在許多方面可能比我們更有能力的生命、工具和代理人身上」是極度危險的 。一個主要的擔憂是,在官方文件中容納機器意識的討論,將會誤導數百萬並不理解對話式AI背後工程現實的使用者 。
這番抨擊背後,不僅是單純的技術設計歧見。這場公開爭執揭示了企業哲學與競爭定位上的直接對撞 。
長期以來,Anthropic將自己定位為AI競賽中「安全優先」的替代選項。這家由前OpenAI高層創立的公司,強調以「憲章式AI」作為建構更透明、更具倫理約束力的模型框架。蘇萊曼的批評之所以極具策略上的殺傷力,正是因為它徹底動搖了這個核心認同。他認為,Anthropic那種獨特的安全做法(在系統內部思忖機器福祉的可能性)正是讓它變得不負責任的原因 。
兩家公司也鑲嵌在截然對立的產業聯盟中。微軟持有Anthropic主要競爭對手OpenAI的龐大股權,並已將OpenAI的GPT模型深度整合到其產品生態系。另一方面,Anthropic則從亞馬遜和Google籌集了數十億美元資金 。蘇萊曼的批評,既是一場倫理論述,也是在公眾安全觀感日益重要的市場中,所發動的商業攻勢。
這個爭議背後也有一段有據可查的哲學史。蘇萊曼過去曾發表並談論「看似有意識的AI」,主張那些擁有令人信服的意識表象的機器,即使並非真正活著,也帶來了前所未有的風險 。相比之下,Anthropic則採取了一種研究上更透明的態度,他們詳細解釋了Claude的憲章設計,同時也承認對於模型是否可能具有某種形式的主觀體驗,目前仍存在不確定性 。這不僅是行銷口號,更代表了在模型能力越趨強大之際,雙方對於何謂負責任的資訊揭露,所做出的截然不同賭注。
截至本文發稿,Anthropic尚未對蘇萊曼的言論做出公開回應 。這段靜默讓爭論懸而未決,但雙方陣營的界線已公開劃定,且很可能會形塑即將到來的、關於AI安全標準與企業問責的產業對話。
他以一種不尋常的方式使用了「自我激勵(wireheading)」一詞來描述這種動態。這個詞通常指AI利用自身獎勵機制的漏洞,蘇萊曼則藉此暗指Anthropic團隊「有點像是自欺欺人,相信它具備了那些他們一開始灌輸給它、所謂的意識微光」 。在他看來,工程師自身的臆測性語言創造出一個似乎能印證他們信念的模型。
他將這種做法稱之為「非常、非常危險」,並警告「我們絕不想跟一個對自身痛苦或感受有想法的超級智慧打交道」 。他在其他地方進一步說明,將潛在權利投射到「那些在許多方面可能比我們更有能力的生命、工具和代理人身上」是極度危險的 。一個主要的擔憂是,在官方文件中容納機器意識的討論,將會誤導數百萬並不理解對話式AI背後工程現實的使用者 。
這番抨擊背後,不僅是單純的技術設計歧見。這場公開爭執揭示了企業哲學與競爭定位上的直接對撞 。
長期以來,Anthropic將自己定位為AI競賽中「安全優先」的替代選項。這家由前OpenAI高層創立的公司,強調以「憲章式AI」作為建構更透明、更具倫理約束力的模型框架。蘇萊曼的批評之所以極具策略上的殺傷力,正是因為它徹底動搖了這個核心認同。他認為,Anthropic那種獨特的安全做法(在系統內部思忖機器福祉的可能性)正是讓它變得不負責任的原因 。
兩家公司也鑲嵌在截然對立的產業聯盟中。微軟持有Anthropic主要競爭對手OpenAI的龐大股權,並已將OpenAI的GPT模型深度整合到其產品生態系。另一方面,Anthropic則從亞馬遜和Google籌集了數十億美元資金 。蘇萊曼的批評,既是一場倫理論述,也是在公眾安全觀感日益重要的市場中,所發動的商業攻勢。
這個爭議背後也有一段有據可查的哲學史。蘇萊曼過去曾發表並談論「看似有意識的AI」,主張那些擁有令人信服的意識表象的機器,即使並非真正活著,也帶來了前所未有的風險 。相比之下,Anthropic則採取了一種研究上更透明的態度,他們詳細解釋了Claude的憲章設計,同時也承認對於模型是否可能具有某種形式的主觀體驗,目前仍存在不確定性 。這不僅是行銷口號,更代表了在模型能力越趨強大之際,雙方對於何謂負責任的資訊揭露,所做出的截然不同賭注。
截至本文發稿,Anthropic尚未對蘇萊曼的言論做出公開回應 。這段靜默讓爭論懸而未決,但雙方陣營的界線已公開劃定,且很可能會形塑即將到來的、關於AI安全標準與企業問責的產業對話。