Почему Сэм Альтман предостерёг от передачи ИИ человеческого суждения

Сэм Альтман заявил, что ему «крайне некомфортно», когда моделям ИИ приписывают «религиозную силу» или передают им человеческое суждение. Он назвал это «реальной проблемой безопасности». В своём посте Альтман не упомянул Anthropic, но из-за времени публикации его слова восприняли как завуалированную критику этой компании. 71

Здесь важно не смешивать разные вопросы. Обсуждать, как должен вести себя ИИ, или размышлять о возможном сознании моделей — не то же самое, что призывать считать их духовным авторитетом. По сообщениям СМИ, Anthropic изучала первые вопросы, а её сооснователь Кристофер Ола подчёркивал, что не знает, есть ли у моделей ИИ сознание. 1

От чего предостерёг Альтман

В своём посте глава OpenAI объединил две тревоги: приписывание ИИ религиозного значения и отказ человека от собственного суждения в пользу модели. Он назвал такую ситуацию проблемой безопасности. Поскольку Альтман не указал ни компанию, ни проект, связь с Anthropic — вывод из контекста новостей, а не прямое обвинение в его публикации. 7

Это предостережение касается не только религии. Уверенные ответы модели, которая общается по-человечески, могут побуждать людей относиться к ней как к авторитету — и доверять ей больше, чем оправдывают её реальные возможности. Однако приведённые публикации фиксируют предупреждение Альтмана, а не показывают, насколько широко люди уже так поступают и к каким последствиям это приводит. 67

Почему заговорили о встречах Anthropic

Anthropic проводила консультации с религиозными учёными о том, как формировать моральное поведение чат-бота Claude и могут ли модели ИИ обладать сознанием. Эти темы пересеклись с предостережением Альтмана, поэтому его слова прочитали как реакцию на работу компании. 17

Но обсуждать возможное сознание — не значит утверждать, что модель уже обладает субъективным опытом. Ола говорил: «Мы не знаем, обладают ли модели ИИ сознанием», добавив, что сам действительно не уверен. И консультации с религиозными мыслителями о моральном поведении сами по себе не делают модель духовным авторитетом. 1

Сознание и моральное поведение — разные вопросы

Модель можно настраивать так, чтобы она следовала определённым правилам поведения. Но сами эти правила не доказывают, что у неё есть внутренний опыт. Сообщения о дискуссиях Anthropic затрагивали и поведение Claude, и возможность сознания — это отдельные вопросы, которые не стоит сводить к одному утверждению. 1

В публикациях также приводится предостережение руководителя Microsoft по направлению ИИ: по его мнению, опасно обучать модели так, словно они обладают сознанием. Это обозначенная экспертом обеспокоенность, а не окончательный ответ на вопрос о машинном сознании. Позиция Ола, согласно его словам, — неопределённость. 91

Человек в центре дискуссии

В энциклике Папы Льва XIV об ИИ центральное место отведено достоинству человека. Согласно сообщениям о документе, в нём содержится призыв усилить надзор за ИИ-компаниями, защитить работников, чья занятость может измениться из-за технологий, и противодействовать фальшивой информации, созданной ИИ. Эти темы напоминают о важности человеческих интересов и ответственности при разработке и использовании таких систем. 152

OpenAI тоже оказалась под пристальным вниманием

Дискуссия развернулась на фоне отдельных сообщений о самой OpenAI. Business Insider писал, что руководитель направления безопасности Дэвид Робинсон покинул компанию и раскритиковал её подход к безопасности. BBC сообщала об увольнении трёх исследователей OpenAI из-за предполагаемого ненадлежащего обращения с информацией. Эти сообщения не отвечают на вопрос о сознании ИИ, но дают контекст для оценки заявлений и управления в обеих компаниях. 1226

Вывод здесь уже, чем окончательный вердикт об Anthropic или OpenAI: Альтман предостерёг от того, чтобы считать модели религиозными авторитетами или отдавать им человеческое суждение. Сообщения о консультациях Anthropic поднимают смежные вопросы о моральном поведении Claude и возможном сознании, но не доказывают, что компания наделяла его религиозным статусом. Сам вопрос о сознании ИИ также остаётся открытым. 71