Оценка Эвана Хубингера: что «более 10%» говорит о споре вокруг безопасности ИИ

Заявление Эвана Хубингера не доказывает, что ИИ неизбежно приведёт к вымиранию человечества. Оно высветило более узкую, но принципиальную проблему: руководитель направления Alignment Science в Anthropic публично сообщил, что лично оценивает такую вероятность в ближайшие десять лет выше 10% — и одновременно признал, что у компании пока нет решения проблемы согласования сверхинтеллекта с человеческими целями (alignment) и ясного пути к такому решению. 12

Именно это сочетание придало дополнительный вес предупреждению Джейкоба Коксона, бывшего исследователя Anthropic и OpenAI, который ушёл из Anthropic. По его мнению, ведущие лаборатории движутся к гораздо более мощным системам, хотя методы надёжного контроля над их поведением ещё не доказаны на практике. 23

Личный прогноз, а не позиция компании

Фраза «более 10%» — это оценка самого Хубингера. Она не была представлена ни как официальный прогноз Anthropic, ни как мнение всех сотрудников, ни как установленный научный вывод. 12

Это важное ограничение. Одна численная оценка не объясняет конкретный механизм катастрофы, не устанавливает сроков и не означает, что такой исход наиболее вероятен. По сообщениям СМИ, Хубингер отдельно отмечал, что риск от существующих сегодня моделей он считает низким. Его тревога связана с будущими системами, которые могут стать существенно сильнее, в том числе через рекурсивное самоулучшение — использование ИИ для создания более способного ИИ. 210

Тем не менее заявление заметно именно из-за должности автора. Главный вопрос здесь не только в резкой цифре, а в разрыве между ростом возможностей моделей и уверенностью в том, что сверхинтеллектуальные системы удастся удержать под человеческим контролем. 12

Почему это поддержало аргументы Джейкоба Коксона

Коксон, работавший и в OpenAI, и в Anthropic, объявил об уходе, заявив, что обе компании действуют без должной ответственности и участвуют в гонке к самоулучшающемуся сверхинтеллекту. Хубингер публично согласился с ключевой мыслью Коксона: люди, создающие эти системы, всерьёз допускают сценарии с вымиранием человечества. 23

Это не означает, что все сотрудники разделяют одну и ту же оценку, и не превращает слова Коксона в независимо подтверждённый аудит обеих компаний. Но его уход уже труднее представить лишь как частную претензию бывшего работника: действующий руководитель направления alignment подтвердил, что серьёзная внутренняя тревога может сосуществовать с продолжением разработки передовых моделей. 12

С той же осторожностью стоит воспринимать и высказывания Сэмюэла Маркса. В сообщениях о дискуссии он говорил, что разработчики ИИ допускают риск вымирания людей или сопоставимо тяжёлых последствий. Но это взгляд инсайдера, а не опубликованная оценка рисков всей компании. 5

Главный спор — о правилах при высокой неопределённости

Эту историю легко свести к формуле «сторонники ИИ против алармистов». Но практический вопрос другой: какие гарантии нужны, когда возможный ущерб может быть глобальным и необратимым, а вероятность и сроки остаются неизвестными?

Слова Хубингера делают особенно заметными несколько проблем:

• Alignment пока не решён. Усилия компании по безопасности не равны доказанному способу контролировать системы, которые значительно превосходят нынешние модели. 1
• Конкуренция затрудняет добровольное замедление. Коксон критиковал давление гонки, подталкивающее лаборатории наращивать возможности моделей при нерешённых вопросах безопасности. 23
• Безопасность текущих моделей — не вся картина. Хубингер отделял низкий, по его оценке, риск от существующих систем от опасений насчёт будущих, значительно более мощных ИИ. 210
• Нужна внешняя проверяемость. Обществу, клиентам и государствам трудно оценивать внутренние процессы безопасности компаний без независимых тестов и прозрачной отчётности.

Всё это — проблемы управления рисками, а не доказательство неминуемой катастрофы. Однако именно такие вопросы становятся гораздо сложнее решать, если опасные возможности уже появились.

Прозрачность и независимое тестирование

Сообщалось, что Anthropic не передала свою последнюю модель на тестирование в британский AI Safety Institute до её выпуска. Это утверждение следует считать неподтверждённым публичным выводом: доступные сообщения ссылаются на публикацию СМИ, а не на официальное совместное заявление компании и британского правительства. 10

Но сама ситуация показывает, почему добровольные обязательства вызывают скепсис. Если руководители по безопасности внутри компании признают нерешённость проблемы alignment, внешние наблюдатели вправе спрашивать: какие испытания проводились, кто их проверял, какие результаты раскрыты и при каких порогах возможностей должны включаться более жёсткие ограничения.

Что на практике означает «замедлиться»

Призыв снизить темп не обязательно требует навсегда остановить исследования или внедрение всех ИИ-систем. Речь может идти о проверяемых и обязательных барьерах до достижения моделями особенно значимых уровней возможностей.

Среди возможных мер:

• независимая оценка возможностей и безопасности до развёртывания модели;
• обязательная отчётность о серьёзных инцидентах и опасных возможностях;
• чёткие пороги, после которых разработчик обязан усилить защиту и корпоративное управление;
• аудиты, не зависящие исключительно от внутренних заверений компании;
• международная координация, чтобы ни одна компания или страна не чувствовала себя вынужденной жертвовать безопасностью ради темпа конкурентов.

Логика проста: если вероятность риска неясна, но возможный ущерб чрезвычайно велик, гарантии должны быть показаны до, а не после потери контроля.

Что в действительности показало заявление

Пост Хубингера выявил противоречие в самой основе разработки передового ИИ: ведущие компании могут публично признавать серьёзные долгосрочные риски и при этом продолжать создавать технологии, которые делают эти риски более актуальными. 12

Это не устанавливает вероятность катастрофического сценария и не должно выдаваться за официальный прогноз Anthropic. Но спор об alignment становится предметнее. Вопрос теперь не только в том, способен ли продвинутый ИИ стать опасным. Он в том, могут ли компании и правительства предъявить независимые доказательства, обязательные правила и международные механизмы координации до того, как системы станут слишком мощными для безопасного управления. 110