Джеффри Хинтон: риск гибели человечества из-за ИИ в ближайшие 10 лет на уровне 10% «не выглядит неразумным»

Джеффри Хинтон, лауреат Нобелевской премии и один из наиболее известных исследователей современного ИИ, заявил, что вероятность в 10% того, что ИИ уничтожит всё человечество в ближайшие 10 лет, «не выглядит неразумной». При этом он сделал принципиальную оговорку: «никто на самом деле не знает», как дать такой вероятности осмысленную оценку. 91012

Это не предсказание неизбежной гибели человечества и не утверждение, будто нынешние чат-боты уже способны на подобное. Хинтон говорит о необходимости осторожности перед лицом систем, которые в будущем могут стать значительно умнее людей, но остаться плохо управляемыми.

Что Хинтон вкладывает в цифру 10%

В интервью BBC Newsnight Хинтон согласился, что оценка в 10% для сценария вымирания людей из-за ИИ в течение десятилетия не выглядит необоснованной. Его логика строится именно на неопределённости: человечеству ещё не приходилось сосуществовать с сущностями, которые могут превзойти его по интеллекту. 910

Ранее Хинтон высказывал похожие опасения на более длинном горизонте. В конце 2024 года он говорил о вероятности от 10% до 20% того, что ИИ приведёт к вымиранию людей в течение 30 лет; в 2025 году он назвал этот диапазон интуитивной, а не расчётной оценкой. 1415

Здесь важно различать оценку риска и прогноз неизбежного события. По мнению Хинтона, неопределённость при столь высоких ставках — не повод для самоуспокоения, а причина действовать осторожнее.

Почему его тревожит возможный сверхчеловеческий ИИ

Речь идёт не о сценарии из фантастического фильма, где машины внезапно «восстают». Хинтона беспокоит вероятность появления системы, которая намного превосходит людей в стратегии и технологиях, способна создавать хаос или добиваться целей, несовместимых с интересами человека.

Среди обсуждаемых путей вреда называются манипуляция людьми, создание биологических либо компьютерных вирусов, кибератаки и нарушение работы критически важной инфраструктуры. Это предполагаемые механизмы ущерба от гипотетических будущих систем высокой мощности, а не подтверждённые возможности современных ИИ-инструментов. 1011

Именно это различие особенно важно. Руководитель направления alignment science в Anthropic Эван Хьюбингер прямо заявил, что считает риск от нынешних моделей низким. Его беспокоит другое: системы могут стать гораздо более способными либо начать совершенствоваться быстрее, чем исследователи сумеют обеспечить их безопасное управление. 11624

Уход Джейкоба Коксона и позиция Эвана Хьюбингера

Дискуссия обострилась после того, как Джейкоб Коксон покинул Anthropic и индустрию ИИ. Он обвинил Anthropic и OpenAI в слишком быстрой гонке к самоулучшающемуся сверхинтеллекту, назвав её ставкой на человеческие жизни. 317

Коксон не предсказывал с точностью, что человечество исчезнет к 2030 году. Его тезис был уже, хотя и не менее тревожен: люди, создающие передовые системы ИИ, всерьёз считают возможным, что технология уничтожит всех людей к концу десятилетия. 57

Хьюбингер публично поддержал серьёзность этого предупреждения. Он написал, что лично оценивает вероятность гибели всех людей из-за ИИ в ближайшие 10 лет выше 10%, одновременно отметив, что Anthropic старается действовать ответственно. Однако, по его словам, у компании пока нет плана решения проблемы выравнивания сверхинтеллекта — и неясно, движется ли она к такому решению. 16

Что такое «выравнивание» ИИ

Выравнивание, или alignment, — это задача сделать так, чтобы развитая ИИ-система надёжно действовала в соответствии с поставленными человеком целями и оставалась управляемой, в том числе в непредвиденных её создателями обстоятельствах.

Для исследователей безопасности проблема не сводится к тому, чтобы модель отказалась отвечать на вредоносный запрос. Вопрос в другом: можно ли безопасно направлять систему с широкой автономией, доступом к инструментам и способностями, которые операторы могут не до конца понимать.

Слова Хьюбингера не доказывают, что выравнивание невозможно. Но они означают, что, по его оценке, пока не существует продемонстрированного решения, способного обеспечить контроль над сверхразумными системами до того, как такие системы появятся. 16

В чём эксперты сходятся — и в чём расходятся

Единого мнения о точности оценки Хинтона в 10% нет.

Исследователь Гэри Маркус поддержал основной принцип предосторожности Хинтона: было бы неразумно создавать сверхинтеллект, пока нет научного консенсуса, что его можно сделать безопасным и контролируемым. При этом в публикациях отмечается, что Маркус не видит реалистичного близкого сценария вымирания человечества. Это показывает ключевое расхождение: можно соглашаться с необходимостью строгих мер безопасности, не разделяя конкретную вероятность или сроки катастрофы. 1141

Поэтому подобные числа стоит воспринимать не как измеренный факт, а как экспертные суждения в области, где неизвестны и будущие технические возможности, и сроки их появления.

Главный практический вопрос

Общая точка соприкосновения в этой дискуссии не в том, что вымирание из-за ИИ обязательно случится. Она в том, что даже ненулевая и потенциально значимая вероятность утраты контроля над системами, превосходящими своих операторов, требует общественного внимания до того, как развитие технологий опередит исследования безопасности.

Оценка Хинтона, уход Коксона и предупреждение Хьюбингера сводятся к одному пока не решённому вопросу: какие доказательства безопасности общество должно потребовать, прежде чем внедрять и дальше масштабировать системы, способные стать стратегически сильнее человека?

Полезно не смешивать три разных утверждения:

• нынешние модели ИИ уже несут риск вымирания;
• будущие системы могут приобрести способности, создающие такой риск;
• вероятность этого исхода можно точно посчитать.

Источники поддерживают второе утверждение как серьёзное опасение, которое высказывают заметные исследователи. В то же время Хьюбингер называет риск от текущих моделей низким, а Хинтон подчёркивает, что надёжно вычислить саму вероятность пока нельзя. 11016