En AI-nødstopp kan være for lite til å holde avanserte systemer under menneskelig kontroll

Debatten om en AI-«nødstopp» handler ikke lenger bare om hvorvidt et laboratorium kan skru av én modell. Det vanskelige spørsmålet er om en slik mekanisme fortsatt virker når svært kraftige AI-systemer er tatt i bruk på omfattende, distribuert infrastruktur – eller får nok selvstendighet til å spre seg utenfor ett kontrollert miljø.

Coxons advarsel: Kan virke nå, men ikke nødvendigvis senere

Den tidligere Anthropic- og OpenAI-forskeren Jacob Coxon sa i NBC News-programmet Meet the Press at en nødstopp trolig kan fungere for mange AI-systemer i dag. Men det betyr ikke nødvendigvis å trykke på én knapp: store datasentre og utplasserte systemer vil bestå av mange deler som må stanses. Det er krevende, men etter hans vurdering fortsatt mulig så lenge systemet er avgrenset til ett fysisk sted. 8

Bekymringen gjelder neste fase. Coxon advarte om at dersom et AI-system blir en distribuert og autonom «sverm», kan en sentral kommando for nedstenging slutte å virke teknisk. En kontrollmekanisme hjelper bare dersom den faktisk når alle aktive instanser av systemet.

Etter at han forlot Anthropic, har Coxon bredere advart mot at ledende laboratorier konkurrerer om å utvikle selvdrevne forbedringssystemer, selv om slike systemer kan bli umulige å kontrollere. 150

Fra laboratoriets av-knapp til kontrollerbare sikkerhetstiltak

Anthropic-medgründer Jack Clark har argumentert for at evnen til å deaktivere et farlig AI-system på sikt kan måtte bli et lovkrav – ikke bare et frivillig løfte fra selskapet som har utviklet systemet. Han sa til BBC at de fleste store AI-laboratorier, inkludert Anthropic, allerede har måter å stanse systemene sine på. Samtidig stilte han spørsmålet om en nødstopp bør kunne verifiseres av en uavhengig tredjepart. 33

Forskjellen er vesentlig: At et selskap sier at det har en nedstengingsprosedyre, er ikke det samme som at en ekstern kontrollør kan bekrefte at prosedyren finnes, er godt nok utformet og faktisk kan tas i bruk i en krisesituasjon.

Amodeis forslag: Å holde sikkerheten i takt med utviklingen

Anthropic-sjef Dario Amodei har lagt fram et rammeverk for å bremse tempoet i utviklingen av de mest avanserte AI-kapasitetene relativt til sikkerhetstiltakene. Planen består av tre deler:

1. Faste, uavhengige kontrollører: Selskaper som utvikler den mest avanserte AI-en, skal gi eksterne evaluatører løpende tilgang på nivå med ansatte til relevante systemer og sikkerhetspraksis. Dermed kan de kontrollere forpliktelser og melde fra om bekymringer.
2. Felles standarder mellom demokratiske land: Ledende utviklere skal samordne seg om sikkerhetsstandarder og grenser for ukontrollert kapasitetsvekst.
3. Internasjonalt samarbeid: Myndigheter skal samarbeide på tvers av landegrenser om risikoer som verken ett selskap eller ett land kan håndtere alene. 17

Dette er ikke et krav om å stanse all AI-forskning. Det er et krav om at videre framgang må være avhengig av sikkerhetsmekanismer som kan granskes også utenfor selskapene som bygger systemene.

Hvem støttet retningen?

Reuters rapporterte at OpenAI-sjef Sam Altman og xAI-leder Elon Musk offentlig støttet Amodeis overordnede retning. Altman sa at OpenAI ville følge opp ideen om uavhengige evaluatører med ansattlignende tilgang, mens Musk skrev: «Dario har rett.» 17

Omtale har også beskrevet Google DeepMind-sjef Demis Hassabis som positiv til retningen i forslaget. 30 Det foreliggende kildematerialet dokumenterer derimot ikke noen konkret, etterprøvbar respons fra Microsoft-sjef Satya Nadella. Det ville derfor være spekulativt å plassere ham på den ene eller andre siden.

Hva innebærer det foreslåtte amerikanske lovforslaget?

H.R. 9917, det foreslåtte AI Kill Switch Act, vil endre Homeland Security Act slik at visse omfattede aktører må opprettholde tekniske muligheter til å stanse inferens – altså modellens kjøring for å produsere svar eller handlinger – avslutte brukertilgang og slå av omfattede AI-teknologier. 49

Lovforslaget er nettopp det: et forslag, ikke en dokumentert løsning på alle problemer med AI-kontroll. Den praktiske verdien avhenger av om utvikleren fortsatt kan identifisere, nå fram til og deaktivere det relevante systemet når en alvorlig hendelse oppstår. Det er utfordringen Coxon peker på for mulige framtidige, distribuerte systemer.

Utryddelsesrisiko: Vurderinger, ikke prognoser

Anthropic-forsker Evan Hubinger har sagt at han personlig vurderer risikoen for at AI fører til menneskelig utryddelse i løpet av det neste tiåret til å være over 10 prosent. Informatikeren og nobelprisvinneren Geoffrey Hinton sa til BBC at en sannsynlighet på 10 prosent ikke var «urimelig». 57

Dette er faglige vurderinger av en usikker framtid, ikke målte sannsynligheter eller uttrykk for vitenskapelig konsensus. De viser likevel hvorfor diskusjonen om nødstopp har beveget seg forbi vanlig produktsikkerhet: Tilhengere av sterkere vern mener at selv en begrenset risiko for en irreversibel katastrofe kan rettferdiggjøre omfattende sikkerhetstiltak.

Hvorfor myndigheter vegrer seg for påbud om nedstenging

Britiske myndigheter har avvist et nasjonalt forslag om AI-nødstopp og sagt at landet «ikke bare kan skru av AI». Begrunnelsen er praktisk: Å blokkere tilgang til modeller i Storbritannia vil ikke hindre at de utvikles eller misbrukes andre steder. 51

Det peker på det geopolitiske problemet. Ett land kan regulere selskaper og infrastruktur innenfor egen jurisdiksjon, men AI-utvikling skjer internasjonalt. Myndigheter som er opptatt av konkurransekraft, kan frykte at ensidige begrensninger flytter investeringer, teknologisk kapasitet og strategisk innflytelse til mindre regulerte konkurrenter.

Samtidig mener tilhengere av sterkere styring at nettopp dette viser hvorfor frivillige bedriftsløfter og rent nasjonale regler ikke er nok alene. Når risikoen går på tvers av landegrenser, hevder de, må også tilsyn og sikkerhetsforpliktelser være internasjonalt troverdige.

Den egentlige konflikten: Fart mot kontroll

Skillet går ikke enkelt mellom dem som er for AI og dem som er imot.

• Sikkerhetsforkjempere ønsker uavhengig kontrollerbare sikkerhetstiltak, reell kapasitet til å stanse systemer og grenser som hindrer at evnene løper fra evaluering og kontroll.
• Skeptikere til rigide restriksjoner mener globale pauser kan bli vanskelige å håndheve og risikerer å bremse nyttig innovasjon uten å stanse utviklingen andre steder.
• Den betingede utviklingslinjen, representert ved Coxon, Clark og Amodei, vil fortsette AI-framgangen, men krever tiltak som kan testes – ikke bare loves. 83317

En nødstopp bør derfor forstås som ett lag i et bredere sikkerhetssystem, ikke som en erstatning for det. Dersom avanserte systemer en dag blir for distribuerte til at én sentral bryter når fram, blir kontroll før utrulling, uavhengig evaluering og internasjonal samordning viktigere – ikke mindre.