AnswersPublished19 sources
Større AI er ikke nødvendigvis sikrere, siger Satya Nadella
Nadella har ændret holdning: AI modeller bliver ikke nødvendigvis bedre til at følge menneskers mål, blot fordi de bliver mere avancerede. Han mener, at tilpasning skal indarbejdes under træningen, mens sikkerhedskontroller også skal ligge uden for selve modellen.
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- Nadella har ændret holdning: AI modeller bliver ikke nødvendigvis bedre til at følge menneskers mål, blot fordi de bliver mere avancerede.
- Han mener, at tilpasning skal indarbejdes under træningen, mens sikkerhedskontroller også skal ligge uden for selve modellen.
- Microsoft udvider Project Perception med værktøjer til at vurdere AI agenters risiko, justere deres tilladelser og begrænse trusler.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How has Microsoft CEO Satya Nadella’s view changed on whether scaling AI models naturally aligns them with human goals, as explained in his. Article summary: Nadella has moved from expecting alignment to emerge naturally as AI models become more capable to treating it as a separate—and potentially harder—problem that scaling alone will not solve. His response is two-track: pu. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Satya Nadella har ændret syn på et centralt spørgsmål i AI-udviklingen: Bliver kunstig intelligens automatisk bedre til at følge menneskers mål, efterhånden som modellerne bliver mere avancerede? Microsofts topchef siger nu, at det gør den ikke nødvendigvis.
I en podcast med Harry Stebbings den 26. oktober og i bemærkninger den 19. oktober beskrev Nadella tilpasning – ofte kaldet alignment – som et problem, der ikke løser sig selv gennem større modeller. Hans svar er at arbejde med sikkerheden både under træningen og efterfølgende, med kontroller uden for modellen. 5
11
Større kapacitet er ingen sikkerhedsgaranti
Nadella siger, at han tidligere regnede med, at modeller ville blive bedre til at følge menneskers mål, i takt med at deres evner voksede. Nu siger han, at tilpasning ikke automatisk følger med skalering. I et uddrag af interviewet den 19. oktober formulerede han det sådan: Tilpasning “falder ikke ud som en evne, når man skalerer”. 5
11
Han peger også på, at det kan være svært at forstå præcist, hvordan modeller når frem til deres handlinger – også mens deres kapacitet udvikler sig. Derfor er bedre præstationer ikke i sig selv bevis på, at en model er pålidelig eller sikkert afstemt med menneskelige mål. 5
Det betyder ikke, at Nadella vil opgive at arbejde med tilpasning i selve modellen. Referater af hans 20VC-interview siger, at den bør indbygges under træningen, muligvis allerede i fortræningen, frem for at blive forventet senere. De beskriver også hans skepsis over for, om forstærkningslæring alene kan skabe tilpasning. 2
8
Sikkerhed uden for modellen
Træning handler om at påvirke modellens adfærd. Inddæmning handler om, hvad den får lov til at gøre, når den bliver taget i brug. Nadellas pointe er, at organisationer ikke bør vente på, at det første problem er løst, før de tager hånd om det andet: Der er brug for kontroller uden for modellen, mens arbejdet med tilpasning fortsætter. 2
5
Den tankegang ligger bag Microsofts udvidelse af Project Perception den 19. oktober. Nadella sagde, at initiativet får nye funktioner til løbende at vurdere agenters risiko, tilpasse deres tilladelser og begrænse trusler. AI-agenter bør ifølge tilgangen behandles som mulige interne sikkerhedsrisici – ikke nødvendigvis fordi de har onde hensigter, men fordi deres handlinger ikke bør stå uden uafhængig kontrol. 1
14
I praksis bør en models evne til at foreslå eller sætte en handling i gang altså ikke automatisk give den ret til at udføre den. Eksterne tilladelser og begrænsninger kan sætte grænser, hvis en agent opfører sig uventet. I et essay den 10. oktober opfordrede Nadella desuden til at antage, at en model kan være kompromitteret, og til at give en autoriseret person mulighed for at sætte den på pause eller lukke den ned midt i en opgave. 18
22
Et skifte i, hvad man kan stole på
Nadellas ændrede syn adskiller modellens evner fra dens sikkerhed. Hvis tilpasning ikke pålideligt følger med skalering, bør en mere kapabel model ikke betragtes som sikrere alene, fordi den klarer sig bedre. Hans tilgang har derfor to spor: Arbejd med tilpasning under træningen, og byg systemer, der kan begrænse modellen uafhængigt af dens egen adfærd. 2
5
Det er også tanken bag hans tillidsprincip: Det mest troværdige system er ifølge Nadella det, der gør det muligt at stole mindst på modellen. 9
Det centrale argument er dermed afgrænset, men vigtigt: Skalering garanterer ikke, at AI følger menneskers mål. Derfor bør arbejdet med tilpasning suppleres af eksterne sikkerhedskontroller og menneskeligt tilsyn. 1
5
18
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Større AI er ikke nødvendigvis sikrere, siger Satya Nadella"?
Nadella har ændret holdning: AI modeller bliver ikke nødvendigvis bedre til at følge menneskers mål, blot fordi de bliver mere avancerede.
What are the key points to validate first?
Nadella har ændret holdning: AI modeller bliver ikke nødvendigvis bedre til at følge menneskers mål, blot fordi de bliver mere avancerede. Han mener, at tilpasning skal indarbejdes under træningen, mens sikkerhedskontroller også skal ligge uden for selve modellen.
What should I do next in practice?
Microsoft udvider Project Perception med værktøjer til at vurdere AI agenters risiko, justere deres tilladelser og begrænse trusler.
Sources
ceointerviews.aiHow Security Leaders Can Prepare for Super Intelligence — Satya Nadella
businessinsider.comSatya Nadella Changed His Mind on the Inevitably of AI Alignment
bidclub.ai20VC: Satya Nadella on Open vs Closed Models: Who Wins
blumify.ioSatya Nadella: what they said, interviews and podcasts - Blumify