Почему прогноз Джека Кларка об ИИ, создающем своего преемника, так важен

Публикации, разобравшие это предупреждение, описывают сценарий как движение к сквозной, end-to-end автоматизации исследований и разработки фронтирных моделей — то есть самых передовых систем ИИ . Другой разбор сформулировал это как шанс 60%+ на то, что модель ИИ сможет полностью обучить своего преемника к концу 2028 года .

Проще говоря: Кларк допускает переход от мира, где люди строят ИИ с помощью ИИ, к миру, где ИИ берет на себя значительную часть процесса создания следующего ИИ .

Что значит «создать преемника»

«Преемник» в этом контексте — это следующая, более мощная система в цепочке развития моделей. Опасение Кларка состоит в том, что достаточно сильная AI-система сможет участвовать в критически важной работе по созданию такой следующей системы или автоматизировать ее .

Это не то же самое, что ассистент для программиста. Написание кода — лишь один элемент большого процесса. Сценарий Кларка касается всей воронки R&D: проектирования, обучения, оценки и улучшения фронтирных моделей .

Важная оговорка: Кларк не утверждает, что это уже произошло. Он дает вероятностный прогноз о том, что может случиться к концу 2028 года .

Почему это называют рекурсивным самоулучшением

Такой сценарий часто описывают как рекурсивное самоулучшение: ИИ помогает создать более мощный ИИ, а тот затем помогает создать еще более мощную систему .

Рискованная версия этого цикла — не просто «ИИ улучшает софт». Речь об эффекте снежного кома: если инструмент, который улучшает ИИ, сам становится сильнее в каждом поколении, скорость прогресса может резко вырасти. В материалах о прогнозе Кларка это связывают с риском «взрыва интеллекта» — ускорения возможностей ИИ после того, как системы начинают улучшать системы, идущие за ними .

Поэтому прогноз воспринимается не как обычная техническая веха. Если узким местом в развитии ИИ перестанут быть человеческие исследователи, а главным двигателем станут AI-системы, улучшающие AI-системы, людям может стать сложнее наблюдать за этим процессом и управлять им .

Где главный риск

Главная тревога — потеря содержательного контроля над конвейером создания новых моделей. Если R&D становится автоматизированным от начала до конца, у людей может остаться меньше реальных контрольных точек до появления более мощной системы .

Отсюда следуют три проблемы:

• Меньше времени на проверку безопасности. Если ИИ способен сам выполнять значительную часть исследований, обучения и улучшений, у компаний и исследователей может быть меньше пауз для оценки рисков до появления следующей модели .
• Более быстрый рост возможностей. Предупреждение Кларка связано с идеей, что прогресс ускорится, когда ИИ начнет улучшать ИИ; в обсуждениях это называют риском «взрыва интеллекта» .
• Давление на управление и регулирование. Сам Кларк писал, что последствия автоматизированного AI R&D настолько велики, что он не уверен, готово ли общество к таким изменениям .

Иными словами, это не фантастическая картинка, где робот собирает другого робота. Риск в том, что производство более мощных AI-систем может стать быстрее и автономнее, чем привычные циклы проверки безопасности, общественного обсуждения и регулирования .

Что остается спорным

Оценка 60%+ — это суждение о вероятности, а не установленный факт . Сроки вызывают споры.

Один критический разбор утверждает, что полностью автономное, сквозное рекурсивное самоулучшение без участия человека к 2028 году маловероятно: автор оценивает шанс ниже 10%, хотя допускает, что нечто подобное может стать возможным на более длинном горизонте — до 2036 года .

Есть и технический спор о том, даст ли рекурсивное самоулучшение именно ускоряющуюся отдачу. В одном из разборов приводится позиция специалиста по информатике Педро Домингоса: ключевой вопрос не в том, умеют ли AI-системы генерировать или менять программы, а в том, приведет ли это к надежно растущей отдаче; по его мнению, это пока не доказано .

Эти различия важны. «ИИ помогает в исследованиях ИИ», «ИИ автоматизирует большую часть AI R&D» и «ИИ быстро улучшает сам себя до взрыва возможностей» — связанные, но не одинаковые утверждения . Прогноз Кларка касается самого значимого и потенциально опасного варианта этой цепочки .

Итог

Кларк прогнозирует, что к концу 2028 года, с вероятностью выше 60%, может появиться система, способная вести AI R&D без участия человека и правдоподобно создать собственного преемника .

Если он прав, главный риск — не просто ускорение инноваций. Опасность в том, что создание всё более мощных AI-систем может начать двигаться быстрее, чем человеческий надзор, тестирование безопасности и правила управления успеют адаптироваться . Но это остается спорным прогнозом: критики считают, что срок до 2028 года может быть слишком агрессивным .