AnswersPublished19 sources
Сатья Наделла змінив думку: потужніший ШІ не обов’язково безпечніший
Наделла каже, що раніше очікував: зі зростанням можливостей ШІ узгодженість із людськими цілями виникатиме природно. За його словами, масштабування саме по собі не робить модель більш узгодженою чи безпечною.
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Наделла каже, що раніше очікував: зі зростанням можливостей ШІ узгодженість із людськими цілями виникатиме природно.
- За його словами, масштабування саме по собі не робить модель більш узгодженою чи безпечною.
- Він пропонує працювати над узгодженістю під час навчання моделей і водночас обмежувати їхні дії зовнішніми засобами контролю.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How has Microsoft CEO Satya Nadella’s view changed on whether scaling AI models naturally aligns them with human goals, as explained in his. Article summary: Nadella has moved from expecting alignment to emerge naturally as AI models become more capable to treating it as a separate—and potentially harder—problem that scaling alone will not solve. His response is two-track: pu. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Генеральний директор Microsoft Сатья Наделла переглянув своє уявлення про безпеку штучного інтелекту: потужніша модель не обов’язково краще узгоджується з людськими цілями. У розмові для подкасту 20VC 26 жовтня та виступі 19 жовтня він наголосив, що самого масштабування може бути недостатньо — потрібні і робота над моделлю під час навчання, і запобіжники поза нею. 5
11
Масштабування — не гарантія безпеки
Раніше Наделла припускав, що з розвитком можливостей моделей узгодженість — тобто відповідність поведінки ШІ людським цілям — зростатиме сама собою. Тепер він каже, що такого автоматичного зв’язку немає. У фрагменті стенограми його інтерв’ю 19 жовтня ця думка сформульована прямо: узгодженість «не з’являється як побічний результат масштабування можливостей». 5
11
Наделла також зауважив, що навіть зі зростанням моделей механістичне розуміння їхньої роботи може залишатися недосяжним. Інакше кажучи, самі лише кращі результати не доводять, що модель стабільно поводитиметься відповідно до намірів людей, і не пояснюють, чому вона обрала певну дію. 5
Водночас він не пропонує відмовитися від узгодження під час навчання. За підсумками його коментарів для 20VC, узгодженість потрібно закладати в процес навчання — можливо, вже на етапі попереднього навчання, — а не сподіватися, що вона виникне згодом. Також Наделла скептично оцінює можливість досягти її лише за допомогою навчання з підкріпленням. 2
8
Навчати модель і обмежувати її — різні завдання
Навчання має впливати на те, як модель поводиться. Стримування ж визначає, що вона може робити після розгортання. На думку Наделли, контроль над діями системи не можна ставити в залежність від того, чи вдалося повністю розв’язати проблему узгодженості: зовнішні запобіжники потрібні вже під час роботи над нею. 2
5
Цей принцип лежить в основі розширення Project Perception, про яке Microsoft повідомила 19 жовтня. Наделла заявив, що проєкт отримає засоби для оцінювання ризиків, пов’язаних із ШІ-агентами, зміни їхніх дозволів і стримування загроз. Компанія пропонує ставитися до таких систем як до потенційного внутрішнього ризику — не обов’язково через злий намір, а тому, що їхні дії не варто залишати без незалежного контролю. 1
14
Практичний сенс такого підходу — відділити здатність моделі запропонувати або почати дію від дозволу її виконати. Зовнішні права доступу й засоби стримування можуть обмежити можливості агента, якщо його поведінка виявиться несподіваною. У дописі від 10 жовтня Наделла також закликав виходити з припущення, що модель може бути скомпрометована, і передбачити можливість для уповноваженої людини призупинити її або вимкнути посеред завдання. 18
22
Чому ця зміна важлива
Нова позиція Наделли розділяє дві речі: можливості ШІ та його безпеку. Якщо масштабування не гарантує узгодженості, то краща робота моделі сама по собі не означає, що вона стала безпечнішою. Запропонований ним підхід має два напрями: працювати над узгодженістю під час навчання та незалежно обмежувати моделі вже після їхнього розгортання. 2
5
Цю логіку відображає і його принцип довіри: найнадійнішою є система, яка не вимагає сліпо довіряти моделі. У матеріалі про його есе Наделлі приписують фразу, що це система, «яка дає змогу найменше довіряти самій моделі». 9
Отже, головний висновок тут доволі конкретний: масштабування не гарантує узгодженості, тому роботу над навчанням потрібно поєднувати із зовнішнім контролем і наглядом людей. 1
5
18
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Сатья Наделла змінив думку: потужніший ШІ не обов’язково безпечніший"?
Наделла каже, що раніше очікував: зі зростанням можливостей ШІ узгодженість із людськими цілями виникатиме природно.
What are the key points to validate first?
Наделла каже, що раніше очікував: зі зростанням можливостей ШІ узгодженість із людськими цілями виникатиме природно. За його словами, масштабування саме по собі не робить модель більш узгодженою чи безпечною.
What should I do next in practice?
Він пропонує працювати над узгодженістю під час навчання моделей і водночас обмежувати їхні дії зовнішніми засобами контролю.
Sources
ceointerviews.aiHow Security Leaders Can Prepare for Super Intelligence — Satya Nadella
businessinsider.comSatya Nadella Changed His Mind on the Inevitably of AI Alignment
bidclub.ai20VC: Satya Nadella on Open vs Closed Models: Who Wins
blumify.ioSatya Nadella: what they said, interviews and podcasts - Blumify