与类人AI建立情感联系的用户面临过度依赖以及隐私和自主权受侵犯的风险。研究表明,人们向拟人化聊天机器人披露的个人信息可能比向一个机械界面披露的更多
。“拟人化推断”的动态会促使用户为本质上是预测文本系统的算法分配社会角色,将其统计输出转化为看似社交性的回应,比如建议或陪伴
。
拟人化作为一种谬误,扭曲了关于AI的道德判断。用户可能错误地将道德品格、地位或责任赋予机器。当聊天机器人具有类人特征时,人们会参与心理学家所谓的“启发式处理”——这种思维捷径促使他们将该工具视为能够承担表扬、责备或信任的主体,而这是单纯算法无法维持的
。这种混淆损害了有意义的公共讨论和问责制
。
从信息安全角度看,拟人化AI构成了严重的网络安全风险。IBM的信息安全分析警告说:“这不仅仅是道德问题,也是安全问题,因为任何旨在说服的设计都会让我们更容易受到操纵”。当区分人和机器变得困难时,人们更倾向于在做重大决策时信任AI,从而使他们更容易受到利用人类信任启发式的社会工程诈骗者的攻击
。
国际顶级期刊《自然》已就此作出明确社论:“我们将不惜一切代价避免使用‘the AI / an AI’,因为它不幸地暗示了自主性。相反,我们将改为‘the AI system / an AI system’,或者非常清楚我们谈论的是什么”。将“AI”作为可数名词使用(例如,“这个AI决定了,” “一个会思考的AI”),巧妙地暗示了一个拥有内在心理状态的统一、自我导向的实体。而将“AI”重新用作修饰“系统”(或“模型”、“工具”、“算法”)的形容词,则不断提醒受众,所指对象是一个工程产物——而非一个心智
。