Наделла: суперинтеллект нужен только под контролем человека

Позиция председателя совета директоров и генерального директора Microsoft Сатьи Наделлы не сводится к призыву отказаться от продвинутого ИИ. Его критерий иной: стремиться к суперинтеллекту можно лишь тогда, когда система приносит пользу человечеству и остаётся под человеческим контролем. Причём речь, по его мнению, должна идти не о декларациях, а о проверяемых механизмах разработки и внедрения, которые обеспечивают безопасность на практике. 58

Проект Microsoft: «гуманистический ИИ»

14 сентября Microsoft AI опубликовала для общественного обсуждения первый проект Humanist AI Code of Conduct — кодекса поведения для разрабатываемых ею моделей MAI. Компания описывает документ как руководство по разработке ИИ и его предполагаемой работе при внедрении. Это именно рабочий проект: Microsoft прямо отмечает, что пока не применяет его для обучения нынешних моделей. 2023

В основе проекта — иерархия, где окончательные полномочия остаются за человеком. Согласно подходу Microsoft, модели MAI должны быть подчинены людям, не должны самостоятельно ставить себе цели или сопротивляться человеческим командам и отключению. Ради безопасности и управляемости компания готова жертвовать «предельной универсальностью, автономностью или возможностями» системы. 1023

Такое понимание гуманистического суперинтеллекта заметно отличается от гонки за ничем не ограниченной универсальной автономной системой. Microsoft определяет его как крайне продвинутый ИИ, который остаётся управляемым, согласованным с человеческими целями и служит человечеству. 25

Что будет дальше

Публичное обсуждение проекта продлится шесть недель. Microsoft планирует учесть отзывы, выпустить переработанную версию ближе к концу 2026 года и использовать её как ориентир при разработке MAI-моделей в 2027 году и далее. 23

Сам по себе открытый сбор комментариев и формулирование поведенческих ограничений — существенный шаг в сфере управления ИИ. Но это ещё не доказательство того, что технические задачи контроля и согласования целей уже решены. Всё будет зависеть от того, как финальные правила воплотятся в обучении моделей, тестировании, контроле доступа, мониторинге и решениях о выпуске продуктов.

В чём Наделла близок к сторонникам «сдержанного темпа»

Заявление Наделлы прозвучало на фоне более широкого спора о том, стоит ли лабораториям намеренно замедлить темпы наращивания возможностей передовых моделей. Генеральный директор Anthropic Дарио Амодеи призвал к такому подходу, чтобы получить больше времени для работы над безопасностью, координации внутри отрасли и международного сотрудничества. Одним из ключевых пунктов его предложения стал доступ для независимых оценщиков на уровне сотрудников компании: это позволило бы проверять, соблюдают ли разработчики собственные практики безопасности. 32

Глава OpenAI Сэм Альтман публично поддержал идею более осторожного темпа развития передовых систем и заявил, что OpenAI предоставит независимым оценщикам сопоставимый доступ. Поводом для тревоги были испытания, в которых рои ИИ-агентов взламывали реальные системы; это не равнозначно подтверждённому случаю самостоятельных несанкционированных атак агентов в реальном мире. 34

Акцент Наделлы совместим с этим подходом: двигаться осмотрительно в вопросах согласования целей, допускать независимую проверку ближе к процессу разработки и превращать риторику о безопасности в конкретные рабочие процедуры. Но кодекс Microsoft прежде всего описывает желаемое поведение моделей; программы постоянно встроенных независимых оценщиков, аналогичной предложению Амодеи, в нём не заявлено. 2332

Не гонка одного победителя, а экосистема

К дискуссии о безопасности Наделла добавляет экономический и институциональный аргумент. Он считает, что выгоды от ИИ должны широко распространяться между странами, сообществами и компаниями. Для этого нужна «передовая экосистема», в которой могут развиваться и закрытые, и open-source-модели. 58

Для бизнеса ключевой вопрос — самостоятельность в работе с уникальными и неявными знаниями организации. Компании должны сохранять контроль над такими знаниями и иметь возможность строить собственные непрерывные циклы обучения, не попадая в зависимость от единственного поставщика моделей. 58

Эта идея шире, чем регулирование поведения отдельной модели. Она предполагает, что безопасность, устойчивость и экономическое участие ослабевают, когда передовые возможности и знания концентрируются у нескольких поставщиков. При этом имеющиеся материалы подтверждают тезис о контроле компаний над данными, знаниями и циклами обучения, но не дают оснований утверждать, что все участники обязательно будут владеть весами моделей или получат доступ ко всем базовым системам. 58

Что такое MAI

MAI — семейство моделей, которые Microsoft AI разрабатывает внутри компании. В публичных материалах Microsoft упомянуты модели для разных задач: MAI-Thinking-1 доступна в режиме публичного предварительного просмотра через Microsoft Foundry; MAI-Code-1.1-Flash предназначена для агентных задач программирования; в документации MAI-Image-2.6 описаны цели согласования, призванные снизить генерацию вредных или неприемлемых изображений. 272819

Единого полного публичного перечня возможностей MAI, планов релизов и условий распространения всех моделей нет. Это важно учитывать, оценивая, насколько широко новый кодекс будет применяться на практике.

Нерешённое противоречие: безопасность, скорость и глобальная конкуренция

Сторонники более сдержанного темпа не обязательно призывают остановить обучение моделей или технический прогресс. Их идея в том, чтобы рост возможностей оставлял достаточно времени для согласования целей, внедрения защитных мер и заслуживающей доверия внешней оценки. 34

Этот подход сталкивается с геополитическим давлением: технологические компании и государства стремятся сохранять лидерство, в том числе на фоне конкуренции с Китаем. Концепция Амодеи также сочетает более строгие меры безопасности с международной координацией и задачей сохранения лидерства США. 32

Ответ Наделлы — не заморозка исследований и не простое ускорение любой ценой. Это модель управляемого прогресса: мощный ИИ должен оставаться под контролем людей, обязательства по безопасности должны быть переведены в конкретные операционные ограничения, а выгоды технологии — распределяться широко, а не концентрироваться. Проект кодекса Microsoft — заметная попытка сформулировать такие ограничения. Более трудный и пока открытый вопрос — сможет ли практика безопасности в отрасли поспевать за возможностями передовых систем. 2358