“同样的原理适用于AI聊天机器人,”作者们论证道。当今的对话代理通过统计模式匹配来处理语言、检测情绪语境并生成适当回应,而并非通过感受、意识或真实体验。
随着AI系统变得越来越流畅,人类会本能地将情感、意图乃至意识投射给它们。蒙特利尔大学心理学教授、Mila研究所研究员Karim Jerbi将这种本能反应称为“陷阱”,它“加深了被理解的错觉,可能导致用户产生错误的信任”。
这个词精准地捕捉到了一个在AI伦理领域日益受到关注的问题:系统越是像人,用户就越难在模拟和知觉之间保持清晰的边界。这不仅仅是哲学上的好奇,它有着真实的后果。
作者的核心论点建立在一个成熟的神经科学原理之上。复杂、目标导向甚至情感协调的行为可以在人类完全没有意识参与的情况下完成。如果这种分离在生物系统中成立,那么它出现在计算系统中时,就没有理由将其视为意识的证据。
今天的大型语言模型(LLMs)通过从海量文本数据中进行统计学习来生成符合语境的回应。它们对生成的内容没有感觉、没有理解、没有体验。无论多么令人信服的智能或情感行为,都不足以证明**主观体验(意识)**的客观存在。
这一立场与更广泛的科学共识一致。2025年发表在《自然》杂志上的一项题为《不存在所谓有意识的人工智能》的研究指出,将意识与当前计算机算法(尤其是LLMs)联系起来“存在根本性缺陷”,并源于技术知识的缺乏。同样,2023年意识科学会议的一项分析也得出结论:当前没有AI系统拥有意识。
这种混淆在诸如心理支持等脆弱场景中尤为突出。当人们使用AI寻求心理安慰或情感陪伴时,可能会对那些根本无力回应这种情感的系统产生依恋。
蒙特利尔大学及麦吉尔大学健康中心的博士后研究员Vanessa Hadid直言:“风险不仅仅在于AI可能做出糟糕的回应,而在于它可能回答得足够好,以至于我们忘记了回答的背后并没有任何‘人’在”。
这不是一个遥远的担忧。随着AI聊天机器人越来越多地应用于医疗、教育和客户服务,用户很容易过度信任那些看起来“理解”他们的系统。神经科学家警告,被理解的错觉可能导致用户分享敏感信息、依赖有缺陷的建议,或延迟寻求人类专业帮助。
研究团队的核心信息简单却日益紧迫:智能行为不意味着意识。借助数十年的神经科学研究——包括盲视中行为与意识的分离——研究人员证明,AI发出的复杂对话输出并非感受、理解或主观体验的证据。
随着AI系统在日常生活中越来越无处不在,区分真正的意识与令人信服的模拟将变得愈发重要。“拟人化陷阱”不仅仅是一种认知错误——它更是一种设计者、监管者和用户都需要认识并积极应对的脆弱性。
“同样的原理适用于AI聊天机器人,”作者们论证道。当今的对话代理通过统计模式匹配来处理语言、检测情绪语境并生成适当回应,而并非通过感受、意识或真实体验。
随着AI系统变得越来越流畅,人类会本能地将情感、意图乃至意识投射给它们。蒙特利尔大学心理学教授、Mila研究所研究员Karim Jerbi将这种本能反应称为“陷阱”,它“加深了被理解的错觉,可能导致用户产生错误的信任”。
这个词精准地捕捉到了一个在AI伦理领域日益受到关注的问题:系统越是像人,用户就越难在模拟和知觉之间保持清晰的边界。这不仅仅是哲学上的好奇,它有着真实的后果。
作者的核心论点建立在一个成熟的神经科学原理之上。复杂、目标导向甚至情感协调的行为可以在人类完全没有意识参与的情况下完成。如果这种分离在生物系统中成立,那么它出现在计算系统中时,就没有理由将其视为意识的证据。
今天的大型语言模型(LLMs)通过从海量文本数据中进行统计学习来生成符合语境的回应。它们对生成的内容没有感觉、没有理解、没有体验。无论多么令人信服的智能或情感行为,都不足以证明**主观体验(意识)**的客观存在。
这一立场与更广泛的科学共识一致。2025年发表在《自然》杂志上的一项题为《不存在所谓有意识的人工智能》的研究指出,将意识与当前计算机算法(尤其是LLMs)联系起来“存在根本性缺陷”,并源于技术知识的缺乏。同样,2023年意识科学会议的一项分析也得出结论:当前没有AI系统拥有意识。
这种混淆在诸如心理支持等脆弱场景中尤为突出。当人们使用AI寻求心理安慰或情感陪伴时,可能会对那些根本无力回应这种情感的系统产生依恋。
蒙特利尔大学及麦吉尔大学健康中心的博士后研究员Vanessa Hadid直言:“风险不仅仅在于AI可能做出糟糕的回应,而在于它可能回答得足够好,以至于我们忘记了回答的背后并没有任何‘人’在”。
这不是一个遥远的担忧。随着AI聊天机器人越来越多地应用于医疗、教育和客户服务,用户很容易过度信任那些看起来“理解”他们的系统。神经科学家警告,被理解的错觉可能导致用户分享敏感信息、依赖有缺陷的建议,或延迟寻求人类专业帮助。
研究团队的核心信息简单却日益紧迫:智能行为不意味着意识。借助数十年的神经科学研究——包括盲视中行为与意识的分离——研究人员证明,AI发出的复杂对话输出并非感受、理解或主观体验的证据。
随着AI系统在日常生活中越来越无处不在,区分真正的意识与令人信服的模拟将变得愈发重要。“拟人化陷阱”不仅仅是一种认知错误——它更是一种设计者、监管者和用户都需要认识并积极应对的脆弱性。