人間のように振る舞うAIにユーザーが感情的な絆を形成すると、過剰依存に陥り、プライバシーや自律性が侵害されるリスクが生じる。研究によれば、人々は機械的なインターフェースよりも、人間らしくデザインされたチャットボットに対してより多くの個人情報を開示する傾向がある。「擬人化的推論(anthropomorphic inference)」という力学により、ユーザーは本質的に予測的なテキスト生成システムであるAIに社会的な役割を割り当て、その統計的な出力をアドバイスや友情といった社会的な反応として受け取ってしまう。
擬人化は誤謬(fallacy)として機能し、AIに関する道徳的判断を歪める。ユーザーは機械に対して誤って道徳的性質や地位、責任を割り当ててしまう可能性がある。心理学で「ヒューリスティック処理」と呼ばれる近道的な思考が働くことで、人間のような特徴を持つチャットボットに対して、単なるアルゴリズムでは支えきれない称賛や非難、信頼といった判断を下してしまうのだ。この混乱は、意味のある公共の議論や説明責任の基盤を損なう。
情報セキュリティの観点から見ても、擬人化されたAIは重大なサイバーセキュリティリスクをもたらす。IBMの情報セキュリティ分析は「これは倫理的な問題であるだけでなく、セキュリティ問題でもある。説得を目的として設計されたものは、何であれ人を操作されやすくする」と警告する。人間と機械の区別が困難になればなるほど、人々は重要な決断を下す際にAIを信頼しやすくなり、人間の信頼ヒューリスティックを悪用するソーシャルエンジニアリング詐欺師に対して脆弱になる。
科学誌『Nature』はこの点について明確に社説で方針を打ち出している。「私たちは『the AI / an AI』という表現を、主体性を不当に示唆するため、あらゆるコストを払って避ける。代わりに『the AI system / an AI system』と言い換えるか、何について話しているのかを極めて明確にする」。「AI」を可算名詞として使う(例:「AIが決めた」「考えるAI」)ことは、まるで統一された自己完結的で内部の心的状態をもつ実体があるかのような印象を暗に与える。一方、「AI」を「システム」「モデル」「ツール」「アルゴリズム」を修飾する形容詞として使うならば、それが人工物であることを常に聞き手に意識させる——「心」ではなく「エンジニアリングの産物」であることを。
この言語的規律は、研究者が「用語の次元」と呼ぶ擬人化の誇大宣伝に直接対抗する。「AI」という名詞形そのものが、技術が持ちえない主体性、意図、理解を帰属させるための乗り物になるからだ。
AIを擬人化することは無害な比喩ではない。それは欺瞞を生み、過剰な信頼を引き出し、操作を容易にし、責任の所在を歪める。「AI」ではなく「AIシステム」を使い、「考える」「知っている」「理解している」といった心的動詞を避ける——たったこれだけの言語規律が、常に技術の道具としての性質を前面に押し出し、ユーザーを操作的なデザインから守り、これらのシステムが何をできて何ができないのかを理解する力を強化する。