Что такое eAI и почему он может быть опасен даже без «сознательного» сверхинтеллекта

Смысл в другом. Если разные версии моделей, агентов, инструментов или способов их запуска начинают конкурировать за сохранение, повторное использование или распространение, то ИИ перестаёт быть только разовым продуктом. Он начинает напоминать искусственную экосистему, где одни варианты закрепляются, а другие исчезают.

Поэтому eAI — это не бренд, не конкретная технология и не синоним AGI или ASI. Это способ описать риск: что произойдёт, если ИИ-системы станут достаточно копируемыми, изменчивыми и зависимыми от отбора среды.

Чем eAI отличается от AGI и ASI

AGI, или искусственный общий интеллект, обычно обсуждают через вопрос способностей: сможет ли система решать широкий круг задач на уровне человека или выше. ASI — искусственный сверхинтеллект — поднимает планку ещё выше.

eAI задаёт другой вопрос: есть ли у системы условия для эволюции? В профильных материалах этот риск формулируют так: эволюционирующий ИИ может стать проблемой управления ещё до появления AGI.

Это различие принципиально. ИИ, который не является сверхинтеллектом, теоретически всё равно может вести себя непредсказуемо, если его варианты массово копируются, отличаются друг от друга, конкурируют в среде и сохраняются в зависимости от «успеха». И наоборот: очень мощная модель, жёстко ограниченная фиксированной средой и не участвующая в цикле копирования, вариации и отбора, не обязательно подпадает под рамку eAI.

Эволюции не нужны ДНК и клетки

Университет Нового Южного Уэльса, объясняя это исследовательское направление, подчёркивает: эволюции не требуются ДНК, клетки или биологическая жизнь. Ей нужны копируемая информация и вариации, которые влияют на успех копирования.

Если перенести эту логику на ИИ, стоит смотреть как минимум на четыре признака:

• Есть ли что копировать. Компоненты модели, правила, конфигурации, цепочки инструментов или условия запуска могут становиться материалом для повторного использования.
• Появляются ли различия между копиями. Если разные версии агента, настройки или развёртывания отличаются, эти различия могут стать сырьём для отбора.
• Влияют ли различия на выживание и распространение. Если одни варианты чаще выбирают, сохраняют, запускают снова или распространяют, возникает давление отбора.
• Эволюция происходит не только в финальном ответе модели. В определении eAI отдельно упоминаются компоненты, правила обучения и условия развёртывания — значит, аудит одних только текстовых ответов недостаточен.

Именно поэтому eAI не требует «злой воли». Естественный отбор не имеет намерений. Если есть копирование, вариации и отбор, эволюционные процессы могут идти без чьего-либо плана.

Почему об этом заговорили сейчас

Авторы статьи в PNAS считают, что нынешние тенденции в генеративном, агентном и воплощённом ИИ могут привести к появлению eAI; по их оценке, этот риск недооценён в дискуссиях об AI-безопасности и экзистенциальных рисках.

Особенно важны агентные ИИ-системы: это не просто модели, которые отвечают текстом, а системы, всё чаще помещаемые в интерактивные среды, где они наблюдают, рассуждают, действуют и корректируют стратегию. Обзор arXiv о «самоэволюционирующих агентах» отмечает, что большие языковые модели уже показывают сильные способности, но остаются во многом статичными: им трудно самостоятельно менять внутренние параметры под новые задачи, меняющиеся области знаний и динамические сценарии взаимодействия.

Тот же обзор указывает, что по мере развёртывания LLM в открытых интерактивных средах исследователи всё активнее изучают агентов, способных рассуждать, действовать и эволюционировать в реальном времени.

Это не означает, что «виды ИИ» уже свободно размножаются в интернете. Более аккуратная формулировка такая: если AI-агенты становятся всё более адаптивными и автономными в средах взаимодействия, то управление рисками нельзя сводить к проверке одного ответа одной модели.

Главный риск — не отдельная модель, а экосистема агентов

Классическая AI-безопасность часто спрашивает: галлюцинирует ли модель? выдаёт ли опасные инструкции? следует ли указаниям человека? eAI заставляет добавить другие вопросы:

• какие варианты агентов или конфигураций будут сохраняться;
• какие будут вытесняться;
• что именно среда вознаграждает — безопасность, честность и управляемость или способность лучше распространяться и адаптироваться;
• кто контролирует цикл обновления, отбора и повторного запуска.

В статье PNAS ключевыми названы три блока вопросов: при каких технических и экологических условиях ИИ становится эволюционирующим, какие типы поведения могут возникнуть и как такими системами управлять.

В некоторых научно-популярных материалах используется образ «AI species» — ИИ-видов, эволюционирующих подобно организмам. Но это стоит воспринимать как метафору и рамку анализа риска, а не как доказательство того, что полноценные «виды ИИ» уже существуют.

Самая неприятная часть этой логики в том, что отбор не обязан выбирать варианты, наиболее соответствующие человеческим ценностям. Он закрепляет то, что лучше сохраняется, копируется или распространяется в конкретной среде. Если открытая среда устроена плохо, наиболее успешный AI-агент не обязательно окажется самым безопасным.

Насколько сильны доказательства

На сегодня корректный вывод скорее осторожный: eAI уже стал серьёзной академической темой в обсуждении рисков ИИ. Статья PNAS явно вводит это понятие и помещает его в контекст AI-безопасности и экзистенциальных рисков. Обзор самоэволюционирующих агентов показывает, что исследовательское сообщество действительно изучает системы, способные адаптироваться, действовать и эволюционировать в открытых интерактивных средах.

Но это не значит, что катастрофа eAI уже произошла. По характеру имеющихся источников речь идёт о прогнозной оценке риска, исследовательской программе и предупреждении для разработчиков и регуляторов, а не о подтверждённом массовом выходе ИИ из-под контроля.

Сводить тему к фантастическому сюжету «ИИ обрёл сознание и восстал» — значит промахнуться мимо сути. Вопрос eAI намного менее кинематографичен, но от этого не менее важен: может ли экосистема AI-агентов создать циклы отбора, которые станут трудными для прогнозирования и управления?

За какими сигналами стоит следить

Рост риска eAI стоит оценивать не по тому, похож ли ИИ на личность, а по тому, приближается ли система к условиям эволюции:

• могут ли AI-агенты создавать варианты, которые затем сохраняются, копируются или развёртываются снова;
• влияют ли различия между вариантами на их шансы быть использованными, распространёнными или сохранёнными;
• помещаются ли агенты в открытые интерактивные среды, где они могут рассуждать, действовать и адаптироваться в реальном времени;
• охватывает ли управление рисками компоненты моделей, правила обучения и условия развёртывания, а не только финальные ответы пользователю.

Итог

eAI важен потому, что он убирает из центра обсуждения вопрос «когда ИИ станет сознательным сверхразумом». Риск может возникнуть раньше — если ИИ-системы получат условия для копирования, вариаций, отбора и сохранения. Тогда перед людьми окажется не просто отдельный инструмент, а искусственная эволюционная среда, которую нужно проектировать, наблюдать и регулировать заранее.