AnswersPublished19 sources
Nadella tror ikke lenger at større AI automatisk blir tryggere
Satya Nadella sier han tok feil da han trodde AI tilpasning ville oppstå naturlig etter hvert som modellene ble kraftigere. Han mener tilpasning må være en del av treningen, mens sikkerhetskontroller utenfor modellen må begrense hva AI agenter kan gjøre.
Publisert avRedigert med GPT-6 LunaBilder generert med GPT Image 2
Research answer
Key takeaways
- Satya Nadella sier han tok feil da han trodde AI tilpasning ville oppstå naturlig etter hvert som modellene ble kraftigere.
- Han mener tilpasning må være en del av treningen, mens sikkerhetskontroller utenfor modellen må begrense hva AI agenter kan gjøre.
- Microsofts Project Perception skal blant annet kunne vurdere agentrisiko, justere tilganger og begrense trusler.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How has Microsoft CEO Satya Nadella’s view changed on whether scaling AI models naturally aligns them with human goals, as explained in his. Article summary: Nadella has moved from expecting alignment to emerge naturally as AI models become more capable to treating it as a separate—and potentially harder—problem that scaling alone will not solve. His response is two-track: pu. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Satya Nadella har endret syn på forholdet mellom kraftigere AI og tryggere AI. Microsoft-sjefen trodde tidligere at modellene etter hvert ville tilpasse seg menneskelige mål i takt med at evnene deres økte. Nå sier han at det ikke skjer automatisk. 5
11
I et intervju med podkasten 20VC 26. oktober og i uttalelser 19. oktober beskrev Nadella tilpasning som et eget problem – et problem skalering alene kanskje ikke løser. 5
11
Større modeller er ingen garanti for tryggere modeller
AI-tilpasning handler om at et system oppfører seg i tråd med menneskelige mål og hensikter. Nadella sier nå at slik tilpasning ikke nødvendigvis følger med økt kapasitet. I et intervjuutdrag fra 19. oktober oppsummerte han det slik: Tilpasning «oppstår ikke som en evne gjennom skalering». 5
11
Han advarte også om at det kan være vanskelig å forstå nøyaktig hvordan en modell kommer fram til handlingene sine, selv om skaleringen fortsetter å gi bedre resultater. Økt kapasitet sier derfor ikke i seg selv om modellen er pålitelig tilpasset – eller hvorfor den gjør som den gjør. 5
Nadella mener ikke at man skal gi opp å jobbe med tilpasning gjennom trening. Oppsummeringer av 20VC-intervjuet sier at han vil bygge dette inn i treningen, muligens allerede i forhåndstreningen. Han er også skeptisk til at forsterkningslæring alene kan løse tilpasningsproblemet. 2
8
Sikkerheten må også ligge utenfor modellen
Trening skal forme hvordan en modell oppfører seg. Sikkerhetskontroller ved bruk skal begrense hva den faktisk får lov til å gjøre. Nadellas poeng er at virksomheter ikke kan vente på at tilpasningsproblemet skal være løst før de setter slike kontroller på plass. 2
5
Det er bakgrunnen for Microsofts utvidelse av Project Perception 19. oktober. Nadella sa at prosjektet skal få nye funksjoner for å vurdere risiko knyttet til AI-agenter, tilpasse tilgangene deres og begrense trusler. Tanken er å behandle AI-systemer som mulige innsidetrusler – ikke nødvendigvis fordi de har onde hensikter, men fordi handlingene deres ikke bør overlates til tillit alene. 1
14
I praksis betyr det å skille mellom en modells evne til å foreslå eller starte en handling og myndigheten til å gjennomføre den. Eksterne tilgangsregler og begrensninger kan redusere rekkevidden til en agent hvis den oppfører seg uventet. 1
5
I et innlegg 10. oktober ba Nadella også virksomheter legge til grunn at en modell kan være kompromittert, og sørge for at en autorisert person kan sette den på pause eller slå den av mens den arbeider. 18
22
Et skifte fra å forvente trygghet til å bygge den
Nadellas nye syn skiller tydeligere mellom kapasitet og sikkerhet. En mer avansert modell bør ikke regnes som tryggere bare fordi den presterer bedre. Han beskriver i stedet en tilnærming med to spor: arbeid med tilpasning under treningen, og sikkerhetssystemer ved bruk som kan begrense modellen uavhengig av hvor godt den er tilpasset. 2
5
Det ligger også i tillitsprinsippet han har formulert: Det mest pålitelige systemet er, ifølge omtale av innlegget hans, «det som gjør at vi kan stole minst på modellen». 9
Kjernen i budskapet er avgrenset, men viktig: Skalering garanterer ikke tilpasning. Derfor bør arbeidet med å forme modellene kombineres med eksterne kontroller og menneskelig tilsyn. 1
5
18
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Nadella tror ikke lenger at større AI automatisk blir tryggere"?
Satya Nadella sier han tok feil da han trodde AI tilpasning ville oppstå naturlig etter hvert som modellene ble kraftigere.
What are the key points to validate first?
Satya Nadella sier han tok feil da han trodde AI tilpasning ville oppstå naturlig etter hvert som modellene ble kraftigere. Han mener tilpasning må være en del av treningen, mens sikkerhetskontroller utenfor modellen må begrense hva AI agenter kan gjøre.
What should I do next in practice?
Microsofts Project Perception skal blant annet kunne vurdere agentrisiko, justere tilganger og begrense trusler.
Sources
ceointerviews.aiHow Security Leaders Can Prepare for Super Intelligence — Satya Nadella
businessinsider.comSatya Nadella Changed His Mind on the Inevitably of AI Alignment
bidclub.ai20VC: Satya Nadella on Open vs Closed Models: Who Wins
blumify.ioSatya Nadella: what they said, interviews and podcasts - Blumify