En AI-nødafbryder er måske ikke nok til at holde avancerede systemer under menneskelig kontrol

En AI-«nødafbryder» lyder umiddelbart som en enkel sikkerhedsforanstaltning: Hvis noget går galt, slukker man systemet. Men debatten handler ikke længere kun om, hvorvidt et AI-laboratorium kan afbryde en model. Det afgørende spørgsmål er, om en nedlukning stadig vil virke, når meget stærke systemer kører på stor, distribueret infrastruktur – eller får autonomi nok til at operere uden for ét kontrolleret miljø.

Coxons advarsel: Det kan virke nu – men ikke nødvendigvis senere

Jacob Coxon, tidligere forsker hos både Anthropic og OpenAI, sagde i NBC News-programmet Meet the Press, at en nødafbryder formentlig vil virke for mange AI-systemer i dag. Han understregede dog, at det næppe blot vil være ét tryk på en knap: Store datacentre og systemer i drift består af mange komponenter, som skal lukkes ned. Det er vanskeligt, men efter hans vurdering stadig muligt, når systemet er begrænset til et fysisk sted. 8

Hans bekymring gælder næste fase. Hvis et AI-system udvikler sig til en distribueret, autonom «sværm», kan en central kommando til nedlukning holde op med at være teknisk effektiv. En kontrolmekanisme virker kun, hvis den kan nå hver eneste aktive instans af systemet.

Efter sin afgang fra Anthropic advarede Coxon mere generelt om, at førende laboratorier kapløber mod selvforbedrende AI-systemer, selv om sådanne systemer kan blive umulige at kontrollere. 150

Fra laboratoriets slukknap til dokumenterbare sikkerhedskrav

Anthropics medstifter Jack Clark har argumenteret for, at evnen til at deaktivere et farligt AI-system på sigt kan blive et lovkrav – og ikke blot et frivilligt løfte fra virksomheden, der har bygget det. Han sagde til BBC, at de fleste store laboratorier, herunder Anthropic, allerede har metoder til at lukke deres systemer ned. Men han rejste spørgsmålet, om en nødafbryder bør kunne verificeres af en uafhængig tredjepart. 33

Forskellen er væsentlig: Det er én ting, at en virksomhed siger, at den har en procedure for nedlukning. Noget andet er, at en ekstern evaluator kan bekræfte, at proceduren findes, er forsvarligt indrettet og faktisk kan bruges i en nødsituation.

Amodeis idé: Lad sikkerheden følge med frontlinjen

Anthropic-direktør Dario Amodei har foreslået en ramme, der skal sikre, at udviklingen af AI i den teknologiske front ikke løber fra sikkerhedsarbejdet. Planen har tre dele:

1. Indlejrede, uafhængige evaluatorer: Virksomheder, der udvikler frontlinje-AI, skal give eksterne evaluatorer løbende adgang på niveau med ansatte til relevante systemer og sikkerhedspraksis. De skal kunne kontrollere tilsagn og indberette bekymringer.
2. Fælles standarder mellem demokratiske lande: Ledende udviklere skal koordinere fælles sikkerhedsstandarder og grænser for ukontrolleret vækst i kapabiliteter.
3. International koordinering: Regeringer skal samarbejde på tværs af grænser om risici, som ingen enkelt virksomhed eller stat kan inddæmme pålideligt. 17

Det er ikke et forslag om at stoppe AI-forskning helt. Det er et krav om, at fremskridt skal være betinget af sikkerhedsforanstaltninger, som kan granskes af andre end de virksomheder, der bygger systemerne.

Hvem støttede forslaget?

Reuters skrev, at OpenAI-chef Sam Altman og xAI-leder Elon Musk offentligt støttede Amodeis overordnede retning. Altman sagde, at OpenAI ville indføre idéen om uafhængige evaluatorer med adgang på niveau med ansatte, mens Musk skrev: »Dario har ret.« 17

Anden omtale beskrev også Google DeepMind-chef Demis Hassabis som positiv over for forslagets retning. 30 Det foreliggende kildemateriale dokumenterer derimod ikke en konkret, tilskrivbar reaktion fra Microsoft-chef Satya Nadella. Det ville derfor være for tidligt at fastslå hans holdning.

Hvad vil det amerikanske AI Kill Switch Act gøre?

Lovforslaget H.R. 9917, AI Kill Switch Act, vil ændre den amerikanske Homeland Security Act, så visse omfattede virksomheder skal kunne standse inferens – altså modellens generering af svar eller handlinger – afslutte brugeres adgang og lukke omfattede AI-teknologi ned. 49

Forslaget er netop et lovforslag, ikke en dokumenteret løsning på alle problemer med kontrol over AI. Dets praktiske værdi afhænger af, om udvikleren fortsat kan identificere, få adgang til og deaktivere det relevante system under en alvorlig hændelse. Det er den udfordring, Coxon fremhæver for mulige fremtidige, distribuerede systemer.

Uddøelsesrisiko er vurderinger, ikke prognoser

Anthropic-forskeren Evan Hubinger har sagt, at han personligt vurderer risikoen for, at AI fører til menneskelig udryddelse inden for de næste ti år, til over 10 procent. Geoffrey Hinton sagde til BBC, at en sandsynlighed på 10 procent »ikke er urimelig«. 57

Der er tale om ekspertvurderinger af en meget usikker fremtid – ikke målte sandsynligheder eller videnskabelig konsensus. De viser dog, hvorfor diskussionen om nedlukning er rykket ud over almindelig produktsikkerhed: Tilhængere af stærkere kontrol mener, at selv en relativt lav risiko for en uoprettelig katastrofe berettiger omfattende sikkerhedsforanstaltninger.

Hvorfor regeringer tøver med påbud om nedlukning og langsommere udvikling

Den britiske regering har afvist et nationalt forslag om en AI-nødafbryder med begrundelsen, at landet »ikke bare kan slukke for AI«. Indvendingen er praktisk: At blokere adgangen til modeller i Storbritannien forhindrer ikke, at de udvikles eller misbruges andre steder. 51

Det peger på den geopolitiske kerneudfordring. Ét land kan regulere virksomheder og infrastruktur i sin egen jurisdiktion, men AI-udvikling foregår internationalt. Regeringer, der er optaget af konkurrenceevne, kan frygte, at ensidige begrænsninger flytter investeringer, teknisk kapacitet og strategisk indflydelse til mindre regulerede konkurrenter.

Omvendt siger fortalere for stærkere styring, at netop dette gør frivillige virksomhedsforpligtelser og rent nationale regler utilstrækkelige. Hvis risikoen går på tværs af grænser, må tilsyn og sikkerhedsforpligtelser også være internationalt troværdige.

Den egentlige konflikt: Fart mod kontrol

Uenigheden går ikke skarpt mellem dem, der er for AI, og dem, der er imod den.

• Sikkerhedsfortalere ønsker uafhængigt kontrollerbare værn, reel mulighed for nedlukning og grænser, så kapabiliteter ikke overhaler evaluering og kontrol.
• Skeptikere over for faste begrænsninger fremhæver, at globale pauser kan være svære at håndhæve og kan forsinke værdifuld innovation uden at standse udviklingen andre steder.
• Den betingede udviklingslinje, som Coxon, Clark og Amodei repræsenterer, vil fortsætte AI-udviklingen, men kræver sikkerhedsforanstaltninger, der kan testes frem for blot at blive lovet. 83317

En AI-nødafbryder bør derfor ses som ét lag i et bredere sikkerhedssystem – ikke som en erstatning for det. Hvis avancerede systemer en dag bliver så distribuerede, at én central afbryder ikke kan nå dem, bliver tilsyn før udrulning, uafhængig evaluering og international koordinering vigtigere, ikke mindre.