En AI-nödbrytare räcker kanske inte för att behålla mänsklig kontroll

En AI-”nödbrytare” handlar inte längre bara om huruvida ett AI-labb kan stänga av en modell. Den svårare frågan är om en sådan funktion fortfarande fungerar när kraftfulla system körs i storskalig, distribuerad infrastruktur – eller blir tillräckligt autonoma för att agera utanför en enda kontrollerad miljö.

Coxons varning: den kan fungera nu, men inte för alltid

Jacob Coxon, tidigare forskare på Anthropic och OpenAI, sade i NBC News Meet the Press att en nödbrytare sannolikt skulle fungera för många AI-system i dag. Men det skulle inte handla om att trycka på en enda knapp: stora datacenter och driftsatta system består av många komponenter som måste stängas ned. Det är svårt, men enligt Coxon genomförbart så länge systemet är begränsat till en fysisk plats. 8

Hans oro gäller nästa steg. Om ett AI-system blir en distribuerad och autonom ”svärm” kan ett centralt avstängningskommando upphöra att fungera rent tekniskt. En kontrollmekanism fungerar trots allt bara om den kan nå varje aktiv instans av systemet.

Efter att ha lämnat Anthropic varnade Coxon mer övergripande för att ledande AI-labb tävlar mot själförbättrande system, trots risken att sådana system kan bli omöjliga att kontrollera. 150

Från intern avstängning till kontrollerbara skyddsåtgärder

Anthropics medgrundare Jack Clark har argumenterat för att möjligheten att stänga av ett farligt AI-system på sikt kan behöva bli ett lagkrav – inte bara ett frivilligt löfte från bolaget som byggt systemet. Han sade till BBC att de flesta stora labb, inklusive Anthropic, redan har sätt att stänga av sina system. Men han lyfte frågan om en nödbrytare bör kunna verifieras av en oberoende tredje part. 33

Skillnaden är väsentlig: att ett bolag säger sig ha en avstängningsrutin är inte samma sak som att en extern granskare kan bekräfta att rutinen finns, är väl utformad och går att använda i en krissituation.

Amodeis förslag: att hålla tillbaka AI-fronten i säker takt

Anthropics vd Dario Amodei har föreslagit ett ramverk för att säkerhetsarbetet ska hinna ikapp utvecklingen av AI i framkant. Förslaget består av tre delar:

1. Inbyggda oberoende granskare: Företag som utvecklar de mest avancerade AI-systemen ska ge externa granskare löpande tillgång på ungefär anställdas nivå till relevanta system och säkerhetsrutiner. Då kan de kontrollera åtaganden och rapportera problem.
2. Gemensamma standarder mellan demokratier: Ledande utvecklare ska samordna sig kring gemensamma säkerhetsstandarder och gränser för okontrollerad kapacitetsutveckling.
3. Internationell samordning: Regeringar ska samarbeta över gränserna kring risker som inget enskilt företag eller land pålitligt kan hantera på egen hand. 17

Det är inte ett krav på att avsluta AI-forskningen. Det är ett krav på att fortsatt utveckling ska vara villkorad av säkerhetskontroller som kan granskas utanför de företag som bygger systemen.

Vilka har ställt sig bakom linjen?

Reuters rapporterade att OpenAI-chefen Sam Altman och xAI-ledaren Elon Musk offentligt stödde Amodeis övergripande inriktning. Altman sade att OpenAI ska införa oberoende granskare med tillgång på nivå med anställda, medan Musk skrev: ”Dario har rätt.” 17

Rapportering har också beskrivit Google DeepMinds vd Demis Hassabis som positiv till förslagets riktning. 30 Underlaget fastslår däremot inte någon konkret och tydligt tillskriven reaktion från Microsofts vd Satya Nadella. Det vore därför förhastat att beskriva hans hållning.

Vad skulle USA:s AI Kill Switch Act innebära?

Det amerikanska lagförslaget H.R. 9917, AI Kill Switch Act, skulle ändra Homeland Security Act så att vissa berörda aktörer måste ha teknisk kapacitet att stoppa inferens – alltså modellens körning för att generera svar – avsluta användaråtkomst och stänga ned berörd AI-teknik. 49

Förslaget är just ett lagförslag, inte en bevisad lösning på alla kontrollproblem. Den praktiska nyttan beror på om utvecklaren fortfarande kan identifiera, nå och stänga av systemet vid en allvarlig incident – precis den utmaning Coxon pekar på för eventuella framtida, distribuerade system.

Bedömningar av utrotningsrisk är inte prognoser

Anthropic-forskaren Evan Hubinger har sagt att han personligen bedömer risken för att AI orsakar mänsklighetens utrotning inom det kommande decenniet till mer än 10 procent. Geoffrey Hinton sade till BBC att en sannolikhet på 10 procent inte var ”orimlig”. 57

Det är expertbedömningar om en mycket osäker framtid, inte uppmätta sannolikheter eller någon vetenskaplig konsensus. De visar ändå varför diskussionen om avstängning har blivit större än vanlig produktsäkerhet: förespråkare för starkare kontroll menar att även en relativt låg risk för en oåterkallelig katastrof motiverar omfattande skyddsåtgärder.

Varför regeringar tvekar inför krav på avstängning och långsammare utveckling

Storbritanniens regering har avvisat ett nationellt förslag om en AI-nödbrytare med argumentet att landet ”inte bara kan stänga av AI”. Invändningen är praktisk: att blockera tillgången till modeller i Storbritannien skulle inte hindra dem från att utvecklas eller missbrukas någon annanstans. 51

Det belyser den geopolitiska knäckfrågan. Ett land kan införa regler för företag och infrastruktur inom sin jurisdiktion, men AI-utvecklingen är internationell. Regeringar som är oroliga för konkurrenskraft kan befara att ensidiga begränsningar flyttar investeringar, teknisk förmåga och strategiskt inflytande till mindre reglerade konkurrenter.

Samtidigt hävdar förespråkare för stramare styrning att detta är just skälet till att frivilliga företagslöften och nationella regler inte räcker på egen hand. Om riskerna är gränsöverskridande måste också tillsynen och säkerhetsåtagandena bli internationellt trovärdiga, enligt deras argument.

Den verkliga konflikten: utvecklingstakt mot kontroll

Oenigheten går inte enkelt mellan dem som är för AI och dem som är emot den.

• Säkerhetsförespråkare vill se oberoende kontrollerbara skyddsåtgärder, reell möjlighet till avstängning och gränser som hindrar kapaciteten från att springa före utvärdering och kontroll.
• Kritiker av hårda begränsningar menar att globala pauser kan vara svåra att upprätthålla och riskerar att bromsa nyttig innovation utan att stoppa utvecklingen på andra håll.
• Linjen om villkorad utveckling, som Coxon, Clark och Amodei företräder, är att fortsätta utveckla AI men kräva skyddsåtgärder som kan testas i praktiken i stället för att bara utlovas. 83317

En AI-nödbrytare bör därmed ses som ett lager i ett större säkerhetssystem, inte som en ersättning för det. Om avancerade system i framtiden blir för distribuerade för att en enda avstängningsfunktion ska nå dem, blir tillsyn före driftsättning, oberoende utvärdering och internationell samordning viktigare – inte mindre.