與人性化AI建立情感連結的使用者,面臨過度依賴以及隱私與自主權受侵害的風險 。研究顯示,人們向人性化的聊天機器人透露個人資訊的意願,可能高於對機械化介面的意願
。「擬人化推論」的動態會導致使用者將社會角色賦予本質上只是預測性文字系統的AI,將統計輸出轉變為看似社會性的回應,如建議或陪伴
。
擬人化作為一種謬誤,會扭曲對AI的道德判斷。使用者可能錯誤地將道德品格、地位或責任歸於機器 。當聊天機器人具有人類特徵時,人們會啟動心理學家所謂的「捷思處理」——一種捷思思考,邀請他們將這個工具視為能夠承受讚美、責備或信任的對象,而這是單純的演算法無法做到的
。這種混淆削弱了有意義的公共討論與問責機制
。
從資訊安全的角度來看,擬人化的AI構成嚴重的網路安全風險。IBM的資訊安全分析警告:「這不僅是道德問題,也是安全問題,因為任何旨在說服的設計,都可能使我們更容易受到操縱。」 當人機難以分辨時,人們在做敏感決策時更容易相信AI,這使他們更容易受到利用人類信任捷思的社交工程詐騙者攻擊
。
《自然》期刊已就此問題發表明確社論:「我們將不惜一切代價避免使用『the AI / an AI』,因為它不幸地暗示了自主性。相反地,我們將改用『the AI system / an AI system』,或非常清楚地說明我們在談論什麼。」 將「AI」當作可數名詞(例如「AI決定」、「一個會思考的AI」)隱含地暗示了一個統一的、自我導向的實體,擁有內在的心智狀態。將「AI」重新定位為修飾「系統」(或「模型」、「工具」、「演算法」)的形容詞,則不斷提醒受眾,所指涉的是一個工程製品,而非一個心智
。