Джеффри Хинтон: риск гибели человечества из-за ИИ в 10% «не кажется неразумной оценкой»

Джеффри Хинтон — один из пионеров современных нейросетей и лауреат Нобелевской премии по физике 2024 года — сказал, что вероятность в 10% того, что ИИ может привести к вымиранию человечества в ближайшие десять лет, «не кажется неразумной оценкой». Но он сразу сделал принципиальную оговорку: «никто на самом деле не знает, как дать осмысленную оценку». 14

Иными словами, Хинтон не представил научно выверенный прогноз. Его мысль в том, что при колоссальной цене ошибки и большой неопределённости отмахиваться от такого сценария нельзя.

Какие риски Хинтон считает реальными

Хинтон разделяет две связанные, но разные проблемы: злонамеренное применение ИИ людьми и риск того, что чрезвычайно мощные системы однажды окажутся плохо управляемыми.

В своей Нобелевской лекции он говорил о более близких угрозах: алгоритмах рекомендаций, усиливающих общественную поляризацию, массовой слежке, фишинге с использованием ИИ. Он также предупреждал, что ИИ может помочь в создании опасных вирусов и автономного летального оружия. По его словам, эти риски требуют срочного и решительного внимания правительств и международных организаций.

Речь не об одном-единственном «сбое». Продвинутые системы могут делать дезинформацию убедительнее и точнее подстраивать её под конкретных людей, помогать искать уязвимости в программном обеспечении или снижать барьеры для биологических и киберугроз. В самом тяжёлом сценарии, который рассматривают сторонники безопасности ИИ, система с сильными стратегическими, техническими и операционными возможностями может получить доступ к ресурсам или критической инфраструктуре и сопротивляться попыткам людей её ограничить. 5

Почему в центре спора стоит проблема согласования целей

Главный технический вопрос называют alignment — согласованием целей ИИ с человеческими намерениями и ценностями. Сможет ли система, намного превосходящая людей по возможностям, надёжно выполнять именно поставленные человеком задачи, принимать исправления и оставаться в реальных границах контроля?

Бывший исследователь Anthropic и OpenAI Джейкоб Коксон ушёл из Anthropic, заявив, что ведущие лаборатории «мчатся прямо к самоулучшающемуся суперинтеллекту» и «играют нашими жизнями». 18 Его тревога связана с возможностью, что системы начнут улучшать собственные способности быстрее, чем развиваются методы обеспечения их безопасности.

Эван Хубингер, руководитель направления alignment science в Anthropic, публично поддержал основную часть этого предупреждения. Он написал, что лично оценивает вероятность того, что ИИ убьёт всех людей в ближайшие десять лет, выше 10%; при этом у Anthropic, по его словам, пока нет плана решения проблемы согласования целей для суперинтеллекта, и компания не демонстрирует, что уверенно движется к такому решению. 16

Их аргумент не состоит в том, что нынешние модели уже готовы самостоятельно уничтожить человечество. Хубингер называл риск от существующих моделей низким. Опасение относится к возможному будущему перелому: модели могут стать достаточно способными, чтобы улучшать себя или эффективно действовать в мире, прежде чем разработчики научатся надёжно ими управлять. 116

Почему скептики не принимают прогноз о скором вымирании

Другие исследователи не отрицают, что ИИ способен усилить киберпреступность, дезинформацию и биологические угрозы. Разногласие начинается там, где от серьёзного ущерба переходят к выводу о вымирании человечества.

Гэри Маркус считает вполне возможными кибератаки, биологические угрозы, дезинформацию и эскалацию конфликтов с помощью ИИ. Но реалистичного пути к буквальному «уничтожению всех людей» в ближайшей перспективе он не видит. 15 Его позиция такова: конкретные риски требуют внимания, однако современные большие языковые модели не следует автоматически считать прямой дорогой к неконтролируемому суперинтеллекту.

Янн Лекун также ставит под сомнение уверенные оценки так называемой p(doom) — вероятности катастрофы, вызванной ИИ. В сообщениях о дискуссии его взгляд описывался как оценка риска вымирания из-за ИИ значительно ниже риска ядерного холокоста; при этом он подчёркивает спекулятивный характер любых таких чисел.

Таким образом, разделение проходит не по линии «обеспокоенные против безразличных». Спор сосредоточен на двух нерешённых вопросах:

1. Сроки роста возможностей. Когда — и произойдёт ли вообще — появление систем, превосходящих человека во многих областях и способных улучшать собственную работу?
2. Контроль. Если это случится, удастся ли создать надёжно управляемые системы или защитные механизмы не выдержат давления со стороны более способных моделей и рыночной гонки?

Что означает — и чего не означает — оценка в 10%

Проверенного метода, который позволял бы точно вычислить вероятность вымирания человечества из-за ИИ, не существует. Оценки Хинтона и Хубингера — это экспертные суждения в условиях глубокой неопределённости, а не вероятности, выведенные из повторяемых исторических данных. 14

Поэтому цифру 10% не стоит читать как доказательство того, что катастрофа вероятна. Но и отсутствие надёжной цифры не доказывает, что риск пренебрежимо мал. Более узкий вывод таков: эксперты резко расходятся в оценке вероятности и возможных механизмов, но многие согласны, что мощный ИИ способен создать серьёзные проблемы безопасности и управления задолго до любого гипотетического сценария вымирания.

Почему речь идёт о мерах до внедрения систем

Хинтон призывал правительства и международные организации срочно заняться рисками ИИ. Коксон также утверждал, что ключевую роль в снижении опасности должно сыграть регулирование.

Поэтому в центре политической дискуссии — меры, которые можно применять к конкретным возможностям и способам использования ИИ: строгая оценка передовых моделей, усиление кибер- и биозащиты, отчётность о серьёзных инцидентах, независимая проверка до предоставления системам большей автономности или доступа к чувствительным инструментам.

Спор о вероятности в 10% останется открытым. Смысл позиции Хинтона не в том, что кто-то способен уверенно подсчитать шансы. Он в том, что ставки слишком высоки, а неопределённость слишком велика, чтобы ждать полной уверенности перед принятием мер предосторожности. 14