Користувачі, які формують емоційні зв'язки з людиноподібним ШІ, ризикують потрапити в залежність і втратити приватність і автономію . Дослідження показують, що люди можуть розкрити більше особистої інформації гуманізованому чат-боту, ніж чітко механічному інтерфейсу
. Динаміка «антропоморфного висновку» змушує користувачів приписувати соціальні ролі системам, які насправді є лише прогностичними текстовими алгоритмами, перетворюючи статистичні результати на удавано соціальні відповіді, як-от поради чи співчуття
.
Антропоморфізація діє як логічна хиба, що спотворює моральні судження про ШІ. Користувачі можуть помилково приписувати машині моральний характер, статус або відповідальність . Коли чат-бот має людиноподібні риси, люди вдаються до так званої «евристичної обробки» — мислення за шаблоном, яке спонукає ставитися до інструменту як до того, хто заслуговує на похвалу, осуд чи довіру, — чого простий алгоритм не може підтримувати
. Ця плутанина підриває змістовне публічне обговорення технологій і принцип відповідальності
.
З точки зору інформаційної безпеки, антропоморфний ШІ становить серйозну кіберзагрозу. «Це не лише етична проблема, але й проблема безпеки, оскільки все, що створене для переконання, може зробити нас більш сприйнятливими до маніпуляцій», — попереджає аналіз IBM з кібербезпеки . Коли стає майже неможливо відрізнити людину від машини, люди більше схильні довіряти ШІ під час ухвалення важливих рішень, що робить їх уразливішими для шахраїв, які використовують методи соціальної інженерії
.
Науковий журнал Nature прямо висловився з цього приводу: «Ми будемо намагатися за будь-яку ціну уникати використання 'the AI / an AI' через його небажаний натяк на дієздатність. Натомість ми або змінимо вислів на 'the AI system / an AI system', або чітко пояснимо, про що саме йде мова» . Сприйняття «ШІ» як обчислюваного іменника (наприклад, «ШІ вирішив», «ШІ, який думає») тонко натякає на єдину самостійну сутність із внутрішніми психічними станами. Перетворення «ШІ» на прикметник, що описує «систему» (або «модель», «інструмент», «алгоритм»), постійно нагадує аудиторії, що мова йде про інженерний артефакт, а не про свідомість
.
Ця мовна дисципліна безпосередньо протистоїть тому, що дослідники називають «термінологічним» виміром антропоморфного ажіотажу: коли ми кажемо «ШІ», сама форма іменника стає засобом для приписування дієздатності, намірів і розуміння, яких технологія не має .
Антропоморфізація ШІ — це не нешкідлива метафора. Вона веде до омани, надмірної довіри, маніпуляцій і спотвореної відповідальності. Проста мовна дисципліна — використання «систем ШІ» замість «ШІ», а також уникнення дієслів, що описують мисленнєві процеси (на кшталт «думати», «знати», «розуміти»), для опису того, що насправді є алгоритмами пошуку шаблонів — слугує постійним виправленням. Вона утримує інструментальну природу технології на передньому плані, захищає користувачів від маніпулятивного дизайну та зміцнює здатність суспільства розуміти, що ці системи можуть, а чого не можуть робити насправді.