與人性化AI建立情感連結的使用者,面臨過度依賴以及隱私與自主權受侵害的風險 。研究顯示,人們向人性化的聊天機器人透露個人資訊的意願,可能高於對機械化介面的意願 。「擬人化推論」的動態會導致使用者將社會角色賦予本質上只是預測性文字系統的AI,將統計輸出轉變為看似社會性的回應,如建議或陪伴 。
擬人化作為一種謬誤,會扭曲對AI的道德判斷。使用者可能錯誤地將道德品格、地位或責任歸於機器 。當聊天機器人具有人類特徵時,人們會啟動心理學家所謂的「捷思處理」——一種捷思思考,邀請他們將這個工具視為能夠承受讚美、責備或信任的對象,而這是單純的演算法無法做到的 。這種混淆削弱了有意義的公共討論與問責機制 。
從資訊安全的角度來看,擬人化的AI構成嚴重的網路安全風險。IBM的資訊安全分析警告:「這不僅是道德問題,也是安全問題,因為任何旨在說服的設計,都可能使我們更容易受到操縱。」 當人機難以分辨時,人們在做敏感決策時更容易相信AI,這使他們更容易受到利用人類信任捷思的社交工程詐騙者攻擊 。
《自然》期刊已就此問題發表明確社論:「我們將不惜一切代價避免使用『the AI / an AI』,因為它不幸地暗示了自主性。相反地,我們將改用『the AI system / an AI system』,或非常清楚地說明我們在談論什麼。」 將「AI」當作可數名詞(例如「AI決定」、「一個會思考的AI」)隱含地暗示了一個統一的、自我導向的實體,擁有內在的心智狀態。將「AI」重新定位為修飾「系統」(或「模型」、「工具」、「演算法」)的形容詞,則不斷提醒受眾,所指涉的是一個工程製品,而非一個心智 。
這種語言紀律直接對抗了研究人員所謂的擬人化炒作中的「術語」面向:當我們說「AI」時,名詞形式本身就成了一個載體,用來賦予該技術不具備的自主性、意圖與理解能力 。
將AI擬人化並非無害的比喻。它驅動了欺騙、過度信任、操縱與責任歸屬的扭曲。一個簡單的語言紀律——使用「AI系統」代替「AI」,並避免使用「思考」、「知道」、「理解」這類心智動詞來描述實際上是模式匹配演算法的東西 ——可以作為一個持續的校準器。它讓技術的工具性本質始終處於焦點,保護使用者免受操縱性設計的傷害,並強化公眾理解這些系統能做什麼與不能做什麼的能力。