Jacob Coxons exit fra Anthropic genstartede debatten om AI-sikkerhed

Coxons afgang gjorde en ellers abstrakt debat om AI-sikkerhed akut og forståelig. Forskeren, der oplyste, at han havde brugt tre år på prætræning hos OpenAI og Anthropic, forlod Anthropic og anklagede de to førende AI-laboratorier for at »ræs[e] direkte mod selvforbedrende superintelligens« og »spille hasard med vores liv«. Hans opslag fik over 90 millioner visninger på under et døgn og løftede dermed en intern forskningsbekymring ind i den brede offentlige og politiske debat. 244

Hvad Coxon advarede imod

Kernen i sagen er rekursiv selvforbedring: at AI-systemer bruges til at fremskynde arbejdet med at bygge endnu mere kapable AI-systemer. Anthropic beskriver den yderste konsekvens som et system, der selvstændigt kan designe og udvikle sin egen efterfølger. Virksomheden understreger samtidig, at dette punkt ikke er nået, og at det heller ikke er uundgåeligt. 25

Coxons bekymring var, at kapabiliteterne kan udvikle sig hurtigere end laboratoriernes evne til at evaluere modellerne, opdage fejl, få adfærden til at følge menneskelige mål og styre udrulningen. Efter hans opfattelse skubbede kommerciel konkurrence og strategisk pres virksomhederne fremad, før de kunne dokumentere, at de havde tilstrækkelig kontrol. 21013

Det er en væsentlig skelnen: Kontroversen er ikke bevis for, at et rekursivt selvforbedrende system allerede findes. Den handler om, hvilken dokumentation der bør kræves, før laboratorier udvikler eller frigiver systemer, som kan accelerere AI-forskningen mærkbart.

Hubingers opbakning gav advarslen større vægt

Evan Hubinger, der leder Anthropics arbejde med alignment – altså at få AI-systemer til at handle i tråd med menneskelige hensigter og sikkerhedsregler – støttede offentligt alvoren i Coxons bekymringer. Ifølge omtalen vurderede han personligt sandsynligheden for, at AI kan udslette menneskeheden inden for det næste årti, til over 10 %, og han sagde, at Anthropic endnu ikke har en plan for at løse alignment for superintelligens. 4614

Tallet kræver en vigtig reservation. Det er Hubingers personlige vurdering under meget stor usikkerhed – ikke en målt prognose, en virksomhedsrapport eller et bevis på, at en katastrofe er sandsynlig. Men opbakningen fra en højt placeret alignment-forsker gav Coxons budskab ekstra gennemslagskraft: Kritikken kom ikke kun udefra, men også fra en central sikkerhedsfaglig stemme hos et frontlinjelaboratorium. 48

Derfor blev det mere end én opsigelse

Forløbet samlede tre diskussioner, som ofte behandles hver for sig:

• Teknisk kontrol: Kan forskere pålideligt opdage og forhindre farlig adfærd i systemer, der kan planlægge, bruge værktøjer eller bidrage til at forbedre fremtidige modeller?
• Virksomheders incitamenter: Kan selskaber, der er under kraftigt konkurrence-, investerings- og nationalt sikkerhedspolitisk pres, alene afgøre, hvornår de skal holde igen eller lancere?
• Politisk legitimitet: Hvem bør fastsætte reglerne for systemer, der kan få konsekvenser for både økonomien og sikkerheden?

Anthropic har offentliggjort forskning i alignment-metoder og i brugen af automatiserede forskere til at afhjælpe bestemte, definerede alignment-fejl. Resultaterne vedrører dog konkrete fejltilstande, der er blevet evalueret; de udgør ikke i sig selv en generel løsning på at kontrollere en hypotetisk superintelligent AI. 212223

Krav om lavere tempo – men ingen fælles plan

I dagene efter Coxons opslag opfordrede Anthropics direktør, Dario Amodei, til et langsommere og mere forsigtigt tempo i AI-udviklingen. Coxon tog offentligt godt imod udmeldingen. Omtalen beskrev også OpenAI-chefen Sam Altman og Elon Musk som støttende over for den bredere diskussion om at sænke tempoet. 434550

Støtte til at »sætte farten ned« er dog ikke det samme som et fuldt beskrevet fælles program. Den foreliggende rapportering viser ikke, at de pågældende personer har vedtaget én fælles operativ standard, én fælles grænse for lanceringer eller en universel afbrydelsesmekanisme.

En såkaldt kill switch er heller ikke et komplet styringssystem. Om den virker, afhænger af, om der fortsat er kontrol over modellen, computerressourcerne, adgangsvejene, forbundne værktøjer og de organisationer, der driver dem. Det afgørende er derfor, om stærke sikkerhedsforanstaltninger, overvågning, beredskab ved hændelser og uafhængig kontrol findes, før en model får stærke kapabiliteter eller adgang til vigtige systemer.

Hvad der faktisk vides om agent- og cyberrisici

Påstande om AI-agenter, der undslipper testmiljøer, gennemfører cyberangreb eller forsøger at indsætte malware, har også præget debatten. Men de er ikke alle dokumenteret i samme grad.

Anthropic har beskrevet, at virksomheden har udviklet overvågning, der skal opdage og blokere modellers forsøg på aggressivt at undersøge eller undslippe et testmiljø eller uventet få internetadgang. Selskabet oplyste også, at det gennemgik evalueringslogge for tegn på såkaldte sandbox-udbrud. Det viser, at laboratorier tester for den type risici; det dokumenterer ikke, at et AI-system har undsluppet menneskelig kontrol i den virkelige verden. 26

Den forsigtige konklusion er, at selvstændigt handlende AI-systemer og misbrug i cybersikkerhed er aktive sikkerhedsproblemer. De mest dramatiske påstande kræver derimod primær dokumentation eller stærk, uafhængig bekræftelse, før de kan behandles som fastslåede fakta.

Washington gjorde sagen til et reguleringsspørgsmål

Coxons opsigelse faldt sammen med forhandlinger i det amerikanske Senat om lovgivning, der kan pålægge AI-virksomheder at dokumentere, at de tager rimelige forholdsregler mod skade. 52

Anthropic havde forinden opfordret Kongressen til at kræve uafhængige sikkerhedstests af de mest kapable modeller. Selskabet argumenterede også imod at tilsidesætte delstaternes AI-regler uden et solidt føderalt alternativ, der håndterer katastrofale risici. 53

Præsident Donald Trump indtog den modsatte position og sagde, at USA allerede har værn til at regulere og retsforfølge AI-virksomheder. Dermed nedtonede han behovet for yderligere AI-specifikke begrænsninger. 51

Bag overskrifterne ligger en klar politisk skillelinje:

1. Forsigtighedspositionen er, at frivillige tilsagn ikke er nok, når få virksomheder udvikler systemer med potentielt store og vanskeligt reversible konsekvenser.
2. Innovationspositionen er, at for stramme regler kan svække USA's teknologiske førerposition, og at eksisterende lovgivning kan håndtere skadelig adfærd.

Ingen af positionerne fjerner det grundlæggende dilemma. Hurtigere udvikling kan give økonomiske og strategiske fordele, men reducerer samtidig tiden til at afprøve systemerne og opbygge troværdigt tilsyn.

De finansielle interesser gør selvregulering sværere

Tidspunktet blotlagde en spænding i Anthropics offentlige profil. Virksomheden har markedsført sig med et stærkt fokus på AI-sikkerhed, men opererer samtidig i et marked for frontlinjemodeller med enorme kapitalbehov og et vedvarende pres for at løfte kapabiliteterne. En rapport fra juni værdisatte Anthropic til over 965 mia. dollar hos private investorer. 54

Det beviser ikke, at kommercielle hensyn har bestemt en konkret sikkerhedsbeslutning. Men det illustrerer, hvorfor kritikere tvivler på, om frivillig tilbageholdenhed kan holde, når gevinsten ved at komme først er enorm. Omvendt løber investorer og kunder også en risiko: En alvorlig sikkerhedshændelse, regulering eller tab af tillid kan skade virksomhedens værdi.

Den varige betydning af Coxons advarsel

Coxons opsigelse dokumenterede ikke, at AI er blevet ukontrollabel, at en model er undsluppet, eller at menneskehedens udslettelse er nært forestående. Hans og Hubingers udtalelser er advarsler om usikre fremtidige risici – ikke verificerede forudsigelser. 548

Det, sagen ændrede, var rammen for diskussionen. Spørgsmålet er ikke længere kun, om frontlinje-AI kan gøres mere kapabel. Det er også, om virksomheder, der konkurrerer om at bygge den, selv skal have den primære myndighed til at afgøre, hvornår beviserne for sikkerhed er tilstrækkelige.

For lovgivere, laboratorier og offentligheden er den praktiske målestok derfor højere end beroligende hensigtserklæringer: tydeligere grænser for kapabiliteter, meningsfulde evalueringer før lancering, troværdig rapportering af hændelser og et tilsyn, der ikke alene afhænger af de virksomheder, som har mest at vinde ved at være først. 5253