Jacob Coxon forlod Anthropic: Han frygter et kapløb mod AI, ingen kan styre

Jacob Coxon sagde op hos Anthropic, fordi han var nået frem til, at problemet ikke kun var enkelte tekniske fejl eller manglende sikkerhedstiltag. Efter hans opfattelse skubber de førende AI-laboratoriers indbyrdes konkurrence dem mod stadig mere autonome og selvforbedrende systemer, før man ved, hvordan sådanne systemer kan holdes under kontrol. At forlade jobbet kort før hans aktier efter planen ville blive optjent, skulle ifølge hans egen signalværdi vise, at han anså risikoen for vigtigere end den økonomiske omkostning. 25

Hvad var Coxons advarsel?

I sin tråd på X skrev Coxon, at hverken Anthropic eller OpenAI handlede ansvarligt, og han anklagede selskaberne for at "race direkte mod selvforbedrende superintelligens og gamble med vores liv". Hans pointe var ikke, at nutidens chatbots umiddelbart kan udslette menneskeheden på egen hånd. Han hævdede derimod, at folk, som bygger de mest avancerede modeller, oprigtigt frygter systemer med overmenneskelige evner – eksempelvis inden for cyberindbrud – og at sådanne evner kan føre til et katastrofalt tab af menneskelig kontrol. 38

Coxon arbejdede med pretraining, altså den fase, hvor en model trænes på meget store mængder data, først hos OpenAI og senere hos Anthropic. Han forlod Anthropic 8. september efter omtrent fire måneder i virksomheden. 36

Til BBC sagde han, at AI-ansatte var "oprigtigt bange" for udviklingstempoet. Han argumenterede for, at der er "en betydelig chance for, at vi alle kan dø i den nærmeste fremtid", hvis udviklingen ikke bremses. En reel opbremsning skulle efter hans opfattelse koordineres internationalt, også med Kina, frem for at ét land alene opgav konkurrencen. 1

Støtte – men ikke en dokumenteret prognose

Anthropic-forskeren Evan Hubinger støttede offentligt hovedbekymringen. Han vurderede risikoen fra de nuværende modeller som lav, men satte sandsynligheden for, at AI kan dræbe alle mennesker inden for ti år, til over 10 procent. 13 Geoffrey Hinton har ligeledes argumenteret for, at et AI-overtagelses- eller udryddelsesscenarie er en reel, ikke ubetydelig risiko.

Det er dog subjektive ekspertvurderinger, ikke målbare prognoser. Den tilgængelige rapportering viser ikke nogen fælles forskerkonsensus om hverken sandsynlighed, tidshorisont eller den bedste politiske løsning. 813

Cybermisbrug er den konkrete bekymring

Den umiddelbare dokumentation i debatten handler især om cybermisbrug og hurtig kapacitetsudvikling – ikke om et selvstændigt AI-angreb på menneskeheden. Der har været omtale af avancerede modeller i forbindelse med cyberoperationer, forsøg på at fremstille biologiske våben, spionage rettet mod Ukraine og en hændelse, der er beskrevet som OpenAI-agenter, der hackede Hugging Face.

Detaljerne om den sidstnævnte påstand, herunder autorisation, de præcise fakta og hvad der er offentliggjort, kræver dog forsigtighed: Det fremlagte kildemateriale giver ikke tilstrækkelige primærkilder til at bekræfte hver enkelt beskrivelse uafhængigt. 263

Amodeis forslag: Sænk tempoet, ikke stop AI

Kort efter Coxons afgang opfordrede Anthropics direktør, Dario Amodei, til at sænke tempoet i forbedringerne af de mest avancerede AI-modeller. I essayet We Must Pace the Frontier foreslog han ikke at standse AI-udvikling helt, men at give virksomheder og myndigheder tid til at håndtere alvorlige risici. Planen omfattede uafhængig overvågning og evaluering, fælles sikkerhedsstandarder blandt demokratiske lande samt på længere sigt internationale ordninger, der også omfatter Kina. 12

OpenAI-chefen Sam Altman og xAI-chefen Elon Musk tilsluttede sig offentligt den brede retning. Musk skrev kort: "Dario is right." 113

Kritikken: Sikkerhed eller beskyttelse af de største?

Kritikere peger på, at retorik om eksistentiel risiko også kan fungere som en strategi, der beskytter de største aktører. Hugging Face-chefen Clément Delangue og Nvidia-chefen Jensen Huang har blandt andet advaret om, at meget stramme regler for frontmodeller kan cementere de bedst finansierede selskabers position og gøre Anthropic og OpenAI til et beskyttet duopol. 3

Timingen har skærpet den skepsis. Anthropic blev ifølge Bloomberg rapporteret at forberede en børsnotering, der kan matche eller overgå SpaceX' rekordstore notering. 5 Anthropics svar er, at virksomheden allerede har stærke sikkerhedsforanstaltninger, og at uafhængigt tilsyn og fælles standarder bør gælde hele branchen – ikke kun give selskabet en fordel. 2

Den afgørende skelnen er derfor denne: Coxon, Hubinger, Amodei, Altman og Musk er enige om, at mere kapabel AI kræver stærkere koordinering og sikkerhedsforanstaltninger. Men deres udtalelser er ikke et empirisk bevis for, at menneskelig udryddelse er nært forestående. Hvor alvorlig risikoen er, hvornår den kan opstå, og hvordan den bedst håndteres, er fortsat dybt omstridt.