Сэм Альтман назвал две главные опасности ИИ: потеря контроля и концентрация власти

Мощный искусственный интеллект может создать для общества две принципиально разные угрозы, считает генеральный директор OpenAI Сэм Альтман. Первая — люди утратят контроль над всё более способными системами. Вторая — контроль над такими системами окажется в руках слишком узкой группы. Иными словами, вопрос безопасности ИИ — это не только вопрос о возможностях моделей, но и о том, кто принимает решения об их применении. 1316

Два сценария, которых, по словам Альтмана, нельзя допустить

Потеря человеческого контроля. Альтман предупредил, что человечество может «потерять контроль над будущим из-за ИИ». Такой исход он назвал неприемлемым: ИИ должен служить людям, а не ставить их в зависимость от систем, которые невозможно надёжно контролировать. 216

Концентрация ИИ-власти. Второй риск — ситуация, в которой чрезвычайно мощный ИИ контролирует один человек, одна компания или одна страна и использует его, чтобы навязать остальным собственное мировоззрение. Альтман назвал такой сценарий «крайне антиутопичным». 113

Эти угрозы связаны, но не тождественны. В первом случае речь идёт о способности людей понимать работу системы, ограничивать её и при необходимости отменять её действия. Во втором — о ситуации, когда система формально управляемая, но власть над ней сосредоточена у субъекта без достаточных сдержек и противовесов.

Какие меры предлагает глава OpenAI

Альтман не призывает просто остановить разработку ИИ. Его позиция в том, что рост возможностей моделей не должен опережать исследования в области согласования целей ИИ с человеческими интересами — alignment, а также мониторинг и контроль. Конкуренция, по его словам, не может быть оправданием безответственного развёртывания технологий. 213

Среди мер, о которых он говорил публично:

• Безопасность и мониторинг должны развиваться не медленнее возможностей моделей. Разработчики должны сохранять способность содержательно оценивать и контролировать поведение всё более мощных систем. 213
• ИИ должен оставаться инструментом на службе человека. Это основной принцип, который Альтман связывает с риском утраты контроля. 216
• Единые федеральные правила для передового ИИ. Речь идёт о национальной нормативной рамке США с последовательными требованиями к наиболее мощным моделям, а не только о разрозненных добровольных обещаниях компаний. 1316
• Независимая проверка. Альтман упоминал независимых аудиторов как возможный способ повысить общественное доверие к компаниям, создающим всё более способные ИИ-системы. 16

Практический вывод таков: для наиболее мощных моделей порог доказательств безопасности должен быть выше. Защитные меры необходимо проверять до решения о развёртывании, а не добавлять задним числом, когда возможности системы уже резко выросли.

Как заявления сотрудников Anthropic усилили спор

В ту же неделю бывший исследователь Anthropic Джейкоб Коксон предупредил, что ведущие лаборатории движутся к самосовершенствующемуся ИИ, фактически «играя нашими жизнями». После ухода из компании он заявил, что разработчики таких систем всерьёз опасаются: они могут стать слишком мощными для человеческого контроля. 17

Тон этого предупреждения жёстче, чем у Альтмана, но базовая тревога одинакова: развитие возможностей может обогнать способность надёжно наблюдать за системами и управлять ими. Руководитель направления alignment в Anthropic Эван Хубингер, как сообщалось, лично оценил вероятность того, что ИИ приведёт к вымиранию человечества в ближайшее десятилетие, более чем в 10%. Он также признал, что полного решения проблемы согласования сверхинтеллекта с человеческими целями пока нет. Это личная оценка риска, а не установленный прогноз или научный консенсус. 17

Суть дискуссии не в том, что конкретный сценарий вымирания или его сроки уже доказаны — это не так. Важно другое: специалисты, непосредственно работающие с передовыми моделями, публично спорят, успевают ли нынешние практики безопасности за технологиями, которые создаются в лабораториях.

Главный раскол: возможности прежде безопасности — или наоборот?

Этот конфликт часто представляют как спор сторонников ускорения ИИ со сторонниками замедления. Но такая схема слишком упрощает ситуацию. Большинство участников дискуссии признают потенциальную пользу ИИ; разногласия касаются прежде всего темпов и обязательности мер безопасности.

Одна позиция состоит в том, что развитие передовых моделей следует соразмерять с готовностью исследований безопасности, оценок рисков, регулирования и механизмов реакции на злоупотребления. Генеральный директор Anthropic Дарио Амодеи призвал замедлить темпы роста возможностей моделей. Среди предложенных им мер — независимые оценщики с широким доступом к внутренним практикам компаний, координация между ведущими лабораториями и международное сотрудничество.

Противоположное давление тоже реально: компании и государства опасаются, что более медленный темп по сравнению с конкурентами будет означать потерю экономического или геополитического преимущества. Однако Альтман настаивает: конкуренция не оправдывает ситуацию, при которой возможности моделей опережают alignment и мониторинг. 13

Reuters сообщало, что, по мнению некоторых исследователей, способности моделей растут быстрее ожидаемого, тогда как прозрачность их работы для людей и потенциальный контроль над ними снижаются. Отсюда и главный вопрос для политики и индустрии: можно ли продолжать выпускать всё более автономные модели, пока защитные механизмы их догоняют, или лаборатории должны сначала убедительно показать, что эти механизмы достаточны?

Что это означает для регулирования ИИ

Два предупреждения Альтмана указывают на необходимость решать сразу две задачи: обеспечивать технический контроль над ИИ и не допускать чрезмерной концентрации власти над ним. Оценка моделей, исследования alignment, мониторинг и независимый надзор относятся к первой задаче. Единые правила, прозрачность и ограничения на единоличный контроль — ко второй.

Ни катастрофические прогнозы, ни точные сроки не следует выдавать за установленные факты. Но тяжесть возможной ошибки объясняет, почему требования к независимым проверкам, внешнему контролю и обязательным нормам безопасности вышли из узкопрофессиональной дискуссии в центр повестки всей ИИ-индустрии. 13