Если пользователь не может отличить собеседника-человека от системы ИИ, появляются возможности для обмана, манипуляций и распространения дезинформации в большом масштабе . Компании могут намеренно придавать чат-ботам человеческий вид и стиль общения, чтобы воспользоваться естественной склонностью людей очеловечивать технологии. В результате убедительный диалог начинает восприниматься как свидетельство настоящего понимания или эмпатии — хотя за ним нет человеческого опыта. Исследователи называют такую привлекательность «антропоморфным соблазном» .
Человекообразный интерфейс способен подтолкнуть пользователя к эмоциональной привязанности и чрезмерной опоре на систему, что затрагивает его автономию и конфиденциальность . Например, человеку может быть проще сообщить личные сведения «дружелюбному» чат-боту, чем обычному автоматизированному сервису .
Этот эффект связан с так называемым антропоморфным выводом: пользователь начинает приписывать предсказательной текстовой системе социальную роль — советчика, друга или заботливого помощника . Но убедительная манера ответа не означает наличия намерений, убеждений или понимания.
Очеловечивание искажает представления о моральном статусе системы, её характере и ответственности . Пользователь может решить, что машина сама виновата в ошибке или, наоборот, что она заслуживает доверия как самостоятельный моральный субъект .
На практике ответственность обычно связана с людьми и организациями, которые разработали, внедрили или применили технологию. Если представить систему как независимого «виновника», это может размыть вопрос о том, кто действительно принимал решения и должен отвечать за последствия.
Любой инструмент, созданный для убеждения, может усиливать восприимчивость человека к манипуляции. С точки зрения информационной безопасности антропоморфизированный ИИ опасен тем, что использует привычные доверительные сигналы — уверенный тон, сочувствие, последовательность и видимость компетентности. Такие сигналы могут быть использованы злоумышленниками .
Антропоморфный язык систематически преувеличивает реальные возможности ИИ и способствует искажённому представлению о технологии . Слова «думает», «знает» и «понимает» звучат короче, чем описание статистической обработки данных, но одновременно создают впечатление человеческого разума .
В русском языке аббревиатура «ИИ» обычно употребляется как существительное. Поэтому полностью избежать её именного употребления трудно. Однако проблема заключается не только в грамматике, а в том, какой образ технологии формирует фраза.
Выражение «сам ИИ решил» легко представить как действие единого самостоятельного агента. Оно скрывает важные детали: о какой именно модели идёт речь, какие данные она обработала, кто настроил систему и в каких условиях был получен результат.
Формулировка «система ИИ сгенерировала ответ», «модель спрогнозировала следующий фрагмент текста» или «алгоритм обработал запрос» возвращает разговор к инженерной реальности. Это не означает, что нужно делать каждое предложение громоздким. Достаточно называть конкретный объект — модель, чат-бот, алгоритм, приложение или систему — и не выдавать результат вычисления за осмысленное намерение.
Журнал Nature рекомендовал избегать формулировок «the AI» и «an AI», поскольку они неудачно подразумевают наличие самостоятельного агента. Вместо этого редакция предлагает говорить «the AI system» или точнее обозначать конкретную модель и продукт .
Вместо:
Такая дисциплина не устраняет все риски, но снижает вероятность того, что пользователи примут имитацию общения за сознание, а автоматический результат — за независимое решение.
Антропоморфизация ИИ — не просто вопрос стиля. Она может способствовать обману, манипуляциям, чрезмерному доверию, разглашению личной информации и ошибочному распределению ответственности. Поэтому выражение «системы ИИ» полезнее, чем абстрактный «сам ИИ»: оно напоминает, что перед нами созданный людьми инструмент, а не человекоподобный разум с собственными чувствами, целями и моральными взглядами.