ОтветыОпубликовано19 источники
Почему мощный ИИ не обязательно становится более безопасным
Раньше Наделла ожидал, что по мере роста возможностей ИИ его поведение будет естественным образом лучше соответствовать человеческим целям. По его словам, согласованность и понимание того, как именно модель принимает решения, могут оставаться труднодостижимыми, даже если масштабирование продолжает повышать её возмож...
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Раньше Наделла ожидал, что по мере роста возможностей ИИ его поведение будет естественным образом лучше соответствовать человеческим целям.
- По его словам, согласованность и понимание того, как именно модель принимает решения, могут оставаться труднодостижимыми, даже если масштабирование продолжает повышать её возможности.
- Наделла выступает за два направления одновременно: закладывать согласованность в обучение и ограничивать действия ИИ внешними средствами — например, настройкой разрешений и возможностью остановить агента.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How has Microsoft CEO Satya Nadella’s view changed on whether scaling AI models naturally aligns them with human goals, as explained in his. Article summary: Nadella has moved from expecting alignment to emerge naturally as AI models become more capable to treating it as a separate—and potentially harder—problem that scaling alone will not solve. His response is two-track: pu. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Сатья Наделла изменил мнение о том, станет ли ИИ безопаснее по мере роста его возможностей. Раньше он полагал, что согласованность модели с человеческими целями будет возникать естественным образом при масштабировании. Теперь глава Microsoft говорит, что это отдельная задача: «согласованность не появляется сама собой как следствие роста возможностей». 5
11
В интервью подкасту 20VC 26 октября и в высказываниях 19 октября Наделла также отметил, что даже механистическое понимание того, почему модель ведёт себя определённым образом, может оставаться недостижимым, хотя масштабирование продолжится. Иными словами, более сильная модель не обязательно лучше понятна или безопаснее. 5
Работать над согласованностью нужно во время обучения
Наделла не предлагает отказаться от попыток сделать модели более согласованными с человеческими целями. Напротив, согласно пересказам его выступления в 20VC, такую работу нужно вести в процессе обучения — возможно, начиная с предварительного обучения, — а не надеяться, что нужное поведение появится само на поздних этапах. 2
8
В тех же пересказах приводится его скептическая оценка идеи решить задачу одной лишь обучающей настройкой с подкреплением: по мнению Наделлы, этого может быть недостаточно. 2
8
Контроль — за пределами самой модели
Обучение призвано влиять на поведение модели. Но при её использовании важно отдельно контролировать, какие действия она может совершать. Наделла настаивает: безопасность не должна зависеть только от того, насколько хорошо модель научилась следовать заданным правилам. 2
5
Эту логику Microsoft связывает с расширением Project Perception — инициативы компании по обеспечению безопасности ИИ-агентов. Наделла сообщил о новых возможностях для оценки рисков, изменения разрешений и сдерживания угроз. Идея в том, чтобы рассматривать агентов как потенциальный риск внутри организации — не обязательно потому, что они намеренно причиняют вред, а потому, что их действия нельзя оставлять без независимого контроля. 1
14
На практике это означает разделять способность агента предложить или начать действие и право выполнить его. Внешние разрешения и механизмы сдерживания должны ограничивать возможности системы, если она поведёт себя неожиданно. В эссе от 10 октября Наделла также призвал исходить из того, что модель может быть скомпрометирована, и предусмотреть возможность для уполномоченного человека приостановить её работу или выключить её прямо во время задачи. 18
22
Доверять меньше — значит контролировать лучше
Изменение позиции Наделлы важно тем, что он больше не считает рост возможностей достаточным признаком прогресса в безопасности. Если согласованность не возникает автоматически, более производительная модель не становится безопаснее просто потому, что лучше справляется с задачами. Его подход — одновременно работать над согласованностью при обучении и создавать внешние механизмы, ограничивающие действия ИИ. 2
5
Этот подход выражает и сформулированный им принцип доверия: самая надёжная система — та, которая позволяет как можно меньше полагаться на заверения самой модели. В публикациях об эссе Наделлы приводится его формулировка: «та, которая позволяет нам меньше всего доверять модели». 9
Иными словами, речь не о том, чтобы отказаться от работы над безопасностью внутри модели. Наделла подчёркивает более узкий вывод: масштабирование не гарантирует согласованности, поэтому обучение нужно дополнять независимыми ограничениями и человеческим контролем. 1
5
18
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Почему мощный ИИ не обязательно становится более безопасным»?
Раньше Наделла ожидал, что по мере роста возможностей ИИ его поведение будет естественным образом лучше соответствовать человеческим целям.
Какие ключевые моменты необходимо проверить в первую очередь?
Раньше Наделла ожидал, что по мере роста возможностей ИИ его поведение будет естественным образом лучше соответствовать человеческим целям. По его словам, согласованность и понимание того, как именно модель принимает решения, могут оставаться труднодостижимыми, даже если масштабирование продолжает повышать её возможности.
Что мне делать дальше на практике?
Наделла выступает за два направления одновременно: закладывать согласованность в обучение и ограничивать действия ИИ внешними средствами — например, настройкой разрешений и возможностью остановить агента.
Источники
ceointerviews.aiHow Security Leaders Can Prepare for Super Intelligence — Satya Nadella
businessinsider.comSatya Nadella Changed His Mind on the Inevitably of AI Alignment
bidclub.ai20VC: Satya Nadella on Open vs Closed Models: Who Wins
blumify.ioSatya Nadella: what they said, interviews and podcasts - Blumify