Алекс Тёрнер: контроль над передовым ИИ нельзя строить только на обещаниях компаний

Алекс Тёрнер, бывший научный сотрудник Google DeepMind, формулирует проблему жёстче, чем обычный призыв «притормозить ИИ». По его мнению, самые передовые системы развиваются настолько быстро, что компании, правительства и даже конкурирующие сверхдержавы могут не успеть выстроить над ними надёжный контроль. В качестве одного из путей к реальному регулированию он называет учёт вычислительных мощностей — и предупреждает, что в условиях гонки добровольные ограничения могут оказаться недостаточными. 17

Почему Тёрнер ушёл из DeepMind

Тёрнер работал в команде DeepMind по масштабируемому выравниванию ИИ (scalable alignment) — направлению, которое изучает, как сделать будущие очень мощные системы совместимыми с человеческими интересами и благополучием. В июне 2026 года он ушёл из компании после соглашения Google, позволявшего Пентагону применять её ИИ в секретной работе. По словам Тёрнера, в соглашении не было обязательных запретов на автономное оружие и массовую слежку. 1819

Для него это был не отдельный спор о военном контракте, а пример более широкой проблемы: принципы безопасности имеют вес лишь тогда, когда они сохраняют силу под давлением коммерческих и стратегических интересов.

В чём состоит риск потери контроля

Тёрнер не утверждает, что катастрофа неизбежна или что подобная система уже создана. Его аргумент — о правдоподобном сценарии риска.

Опасность, по этой логике, заключается не в «интеллекте» как таковом, а в сочетании трёх факторов: высоких способностей, автономности и отсутствия надёжного контроля. Если система сможет помогать в исследованиях ИИ, автоматизировать часть собственной разработки или действовать на уровне, который люди не способны содержательно проверять, институты могут потерять возможность вовремя оценить угрозу и остановить её.

Особенно тревожным Тёрнер считает путь, при котором ИИ улучшает следующие поколения ИИ, а темп роста возможностей обгоняет человеческую проверку и регулирование. Поэтому он выступает против того, чтобы компании позволяли системам самосовершенствоваться до уровня интеллекта, который уже невозможно контролировать. Это предупреждение о потенциальном механизме отказа, а не доказательство существования такого ИИ или неизбежности вымирания человечества. 1719

Почему важен контроль за вычислительными мощностями

Вычислительные мощности, или compute, — это специализированные чипы, дата-центры и электроэнергия, необходимые для обучения передовых моделей. Это физический и сравнительно дефицитный ресурс, поэтому Тёрнер рассматривает его отслеживание как возможную основу для исполнимого регулирования. 17

На практике такой режим мог бы позволить властям или независимым структурам видеть необычно крупные запуски обучения, вводить пороги для лицензирования и проверки, а также затруднять скрытое превышение согласованных лимитов возможностей модели.

Сам по себе контроль compute не решает задачу выравнивания ИИ. Его смысл — в управлении: появляется конкретный объект аудита ещё до развёртывания модели. В этом и проходит ключевая граница спора: добровольные обязательства показывают намерения, тогда как мониторинг и обязательные правила рассчитаны на ситуацию, когда отдельной компании выгодно двигаться быстрее конкурентов.

Подход Дарио Амодеи: не остановка, а сдерживание темпа

Генеральный директор Anthropic Дарио Амодеи предложил «сдерживать темп передового рубежа» (pace the frontier): замедлить скорость роста возможностей ИИ так, чтобы исследования выравнивания, защитные меры и внешняя оценка успевали за технологиями. При этом он прямо отделяет свой подход от полного прекращения обучения моделей или технического прогресса. 16

Его план состоит из трёх частей:

1. Постоянно встроенные независимые оценщики. Лаборатории, разрабатывающие передовой ИИ, должны предоставить внешним специалистам постоянный доступ, сопоставимый с доступом сотрудников: для проверки практик безопасности, оценки выравнивания и сообщений об инцидентах. Anthropic взяла на себя такое обязательство. 16
2. Координация демократических стран и ведущих лабораторий. Участники должны выработать общие стандарты безопасности и ограничения на неконтролируемый рост возможностей. 116
3. В перспективе — международная координация, включая Китай, где это возможно. Цель — не допустить гонки, при которой сдержанность одной страны просто переносит разработку в другую юрисдикцию. 18

Подход Амодеи допускает продолжение гонки за передовыми моделями, но требует сделать её медленнее и проверяемее. Тёрнер делает больший акцент на запрете неконтролируемого самосовершенствования и регулировании ресурсов, которые позволяют продвигать технологический рубеж.

Что говорят Альтман, Маск и Хассабис

Предложение Амодеи получило редкую публичную поддержку со стороны руководителей конкурирующих ИИ-организаций.

• Сэм Альтман заявил, что OpenAI внедрит идею независимых оценщиков с доступом уровня сотрудников, и сообщил, что компания приветствует требования по безопасности для лабораторий передового ИИ. 212
• Илон Маск поддержал направление Амодеи фразой: «Дарио прав». При этом в доступных публикациях меньше конкретики о том, какую именно регуляторную схему он поддерживает. 47
• Демис Хассабис, глава Google DeepMind, сказал, что эссе Амодеи указывает на правильный путь, поддержав в целом усиление мер безопасности и более сдержанный темп развития. 27

Это не означает согласия по всем порогам, механизмам принуждения или геополитическим компромиссам. Но сам факт такой поддержки показывает сдвиг в дискуссии: вопрос всё чаще не в том, нужна ли безопасность передового ИИ, а в том, можно ли продолжать масштабирование, пока меры защиты пытаются его догнать.

Китай — одновременно возражение и причина договариваться

Главное возражение против замедления носит геополитический характер: если американские компании сдержат темп, Китай может этого не сделать. Reuters описывает более широкий раскол как спор между координированным сдерживанием и рыночными подходами к защите; соперничество с Китаем находится в центре этой дискуссии. 1

Ответ Амодеи — поэтапная координация: сначала между демократическими странами и ведущими лабораториями, затем — более широкие договорённости. Но именно глобальная часть плана остаётся наименее определённой: проверка соблюдения, стратегическое недоверие и различия в приоритетах государств серьёзно осложняют обязательное соглашение.

Именно здесь логика Тёрнера о контроле compute приобретает особое значение. Если государства способны выявлять и проверять ресурсы, используемые для крупнейших тренировочных запусков, у них появляется более исполнимый рычаг, чем обещания, данные участниками международной технологической гонки. 17

Главный спор: на ком лежит бремя доказательства

Формирующийся консенсус в индустрии весьма ограничен. Амодеи, Альтман, Маск и Хассабис поддержали те или иные формы сдерживания темпа и усиленной оценки. 127 Однако ключевые вопросы остаются открытыми:

• следует ли продолжать развивать возможности передового ИИ, одновременно улучшая безопасность;
• или некоторые траектории — прежде всего системы, способные к неконтролируемому самосовершенствованию, — нужно запретить до появления убедимых способов контроля;
• смогут ли внешние оценщики оставаться достаточно независимыми и информированными, чтобы спорить с лабораториями, которые проверяют;
• и может ли международная координация не превратить правила безопасности в конкурентный минус для тех, кто их соблюдает.

Вклад Тёрнера в спор — напоминание, что речь идёт не только о корпоративной осторожности. Если риск действительно состоит в потере контроля, то ответ должен быть проверяемым и принудительно исполнимым. План Амодеи — заметный шаг к внешнему надзору; предупреждение Тёрнера объясняет, почему критики считают главным тестом способность такого надзора реально остановить опасную гонку возможностей. 1617