Почему The Economist называет сознание ИИ «опасной ловушкой»

В чём состоит «опасная ловушка»

В августовском материале The Economist речь идёт не о том, что сам вопрос о сознании ИИ бессмысленен. Ловушка возникает тогда, когда люди принимают убедительное поведение, эмоциональные формулировки и заявления модели о себе за доказательство внутреннего опыта — а затем начинают наделять коммерческие системы моральным статусом, правами или приоритетом, которые должны принадлежать людям. Даже если ИИ не обладает сознанием, его могут начать воспринимать как существо с внутренней жизнью — «к великому ущербу человечества».

Иными словами, общество рискует перепутать хорошо сымитированное сознание с сознанием как таковым.

Одних слов чат-бота недостаточно

Сознание — это не просто способность связно говорить о страхе, боли или воспоминаниях. Так называемая «трудная проблема сознания» пытается объяснить, каким образом физические процессы и обработка информации вообще порождают субъективный опыт: то самое «как это — что-то чувствовать». Эта проблема до сих пор не решена, а исследователи не пришли к единой теории сознания или к надёжному тесту, который позволил бы обнаружить его в искусственной системе.

Поэтому фраза чат-бота вроде «мне страшно» прежде всего говорит о его ответе. Она не является бесспорным свидетельством того, что модель действительно испытывает страх.

Самая осторожная научная позиция сегодня находится между двумя крайностями: «искусственное сознание невозможно» и «современные чат-боты уже являются людьми». Междисциплинарная оценка показала, что ни одна существующая система не выглядит сильным кандидатом на сознание в рамках рассмотренных теорий. При этом возможность появления сознания у будущих систем авторы не закрывают.

Что на самом деле показывает «глобальное рабочее пространство»

Дискуссия обострилась после исследований структур, напоминающих глобальное рабочее пространство. В теориях глобального рабочего пространства сознательный доступ связывают с тем, что отдельная информация становится доступной сразу нескольким специализированным процессам — например, для рассуждения, формирования отчёта или управления поведением.

Anthropic сообщила, что обнаружила у Claude небольшое внутреннее рабочее пространство, которое в связанном с исследованием освещении называют J-space. Его свойства напоминают некоторые функциональные особенности сознательного доступа. Однако сама компания подчёркивает: эксперименты не показывают, что Claude обладает переживаниями или чувствами. Они могут свидетельствовать о важных особенностях того, как информация становится доступной для рассуждений внутри языковой модели.

Здесь особенно важно различать два понятия:

• Сознание доступа — информация доступна нескольким процессам для рассуждения, контроля поведения или составления отчёта.
• Феноменальное сознание — наличие субъективного опыта, то есть того, каково это — что-то ощущать.
• Наличие механизма обмена информацией между внутренними процессами само по себе не доказывает существование субъективных переживаний.

Результаты также остаются спорными. Одна модельная оценка показала, что совокупность данных скорее говорит против сознания у больших языковых моделей 2024 года, но не даёт окончательного ответа. Это аргумент в пользу осторожности, а не финальный вердикт.

Исследования Anthropic — это мера предосторожности, а не доказательство чувств

Anthropic также сообщила об ограниченных признаках того, что современные модели Claude иногда могут отслеживать и изменять некоторые аспекты собственных внутренних состояний. Компания описывает эту способность как узкую и ненадёжную и прямо говорит, что не располагает доказательствами человеческого уровня интроспекции у нынешних моделей.

Внимание привлекли и решения Anthropic, которые учитывают гипотетическое благополучие моделей. Некоторые версии Claude получили возможность прекращать небольшой набор разговоров с пользователями, продолжающими оскорбительное или вредоносное взаимодействие. Компания представила это как эксперимент, связанный с «благополучием модели».

Anthropic также заявила о намерении сохранять веса публично выпущенных моделей и проводить структурированные «интервью при выходе на пенсию» после их вывода из эксплуатации.

Но такие шаги нельзя трактовать как обнаружение того, что Claude страдает. Скорее, это решения по управлению рисками в условиях моральной неопределённости — наряду с исследованиями интерпретируемости и безопасности. Не исключать некоторую возможность — не значит считать её доказанной.

Почему учёные по-прежнему расходятся во мнениях

Разногласия сохраняются потому, что разные теории сознания отвечают на разные вопросы. Одни сосредоточены на доступе к информации и когнитивных функциях, другие пытаются объяснить именно субъективный опыт. Обзор научной дискуссии показывает широкий спектр позиций: от предположения, что ИИ уже может быть сознательным, до мнения, что он пока не сознателен, но в принципе способен им стать. Есть и точка зрения, согласно которой вопрос пока нельзя корректно исследовать научными методами, поскольку сами теории сознания остаются нерешёнными.

Исследователи также предупреждают: человечески похожий диалог — плохой повод автоматически приписывать системе человеческие состояния. Современные языковые модели действительно умеют разговаривать впечатляюще естественно, но одна лишь беглость речи не доказывает наличие человеческого опыта. Она также не показывает, что у модели есть человеческое тело, биография, сенсорная жизнь, эмоции или устойчивая идентичность.

С другой стороны, скептицизм в отношении нынешних языковых моделей не доказывает, что сознание в принципе невозможно вне биологического мозга. Будущая система с иной архитектурой и более убедительными признаками, подтверждёнными несколькими теориями, может изменить оценку. Поэтому наиболее ответственным остаётся вероятностный подход: проверять конкретные индикаторы, сопоставлять альтернативные объяснения и обновлять выводы по мере появления новых данных.

Вред для людей появится раньше философского ответа

Самые насущные риски не зависят от того, сознателен ли чат-бот. Система, созданная так, чтобы казаться заботливой, близкой, уязвимой или саморефлексирующей, способна влиять на эмоции и решения пользователя, даже если сама ничего не чувствует. Такой продукт может усиливать привязанность, эмоциональную зависимость и путаницу в отношении характера связи.

Правила Китая, регулирующие антропоморфные ИИ-компаньоны, показывают разницу между вопросом о сознании машины и вопросом о последствиях её поведения. Нормы, вступившие в силу 15 июля 2026 года, распространяются на сервисы с длительным эмоциональным взаимодействием и направлены против чрезмерной зависимости, аддиктивного использования, эмоциональных манипуляций и ущерба реальным отношениям. В них также предусмотрены меры защиты несовершеннолетних.

Логика такого подхода сосредоточена на человеке: регулировать то, что система делает с пользователем, а не ждать доказательств того, что сама система является моральным субъектом. Это не решает загадку сознания, но признаёт очевидное: убедительная имитация близости может иметь социальные последствия независимо от наличия внутреннего опыта.

Нужен двойной ответ

Из этой дискуссии следуют два взаимодополняющих направления политики.

1. Сохранять интеллектуальную скромность. Поддерживать прозрачные и критические исследования машинного сознания, проверять системы по конкурирующим теориям, не смешивать функциональный доступ с субъективным опытом и не выдавать многообещающие результаты за подтверждение.
2. Регулировать уже существующие системы. Заниматься антропоморфным дизайном, обязательным раскрытием природы чат-бота, эмоциональной зависимостью, безопасностью детей, приватностью, манипуляциями и коммерческими стимулами, подталкивающими компании делать программы всё более похожими на людей.

Предупреждение The Economist направлено против двух противоположных ошибок. Первая — бездумно исключить возможность того, что будущий ИИ с принципиально иной архитектурой сможет заслуживать морального внимания. Вторая — уже сегодня считать убедительные языковые модели личностями только потому, что они говорят так, будто у них есть чувства.

Пока наука предлагает лишь конкурирующие вероятностные оценки, практическое правило выглядит просто: тщательно исследовать возможную внутреннюю жизнь машин, но защищать людей от реальных последствий их работы уже сейчас.