Jacob Coxon sluttet i Anthropic: Advarer mot kappløp mot selvforbedrende AI

Coxon sier at han sluttet fordi han kom til at konkurranseinsentivene ved de ledende AI-laboratoriene – ikke bare isolerte tekniske feil – driver dem mot stadig mer autonome og selvforbedrende systemer før noen vet hvordan de kan kontrolleres. At han sluttet kort før aksjene hans skulle opptjenes, var ment som et signal om at han vurderte risikoen som viktigere enn den økonomiske kostnaden. 25

Hva var Coxons hovedanklage?

I en tråd på X skrev Coxon at verken Anthropic eller OpenAI opptrådte ansvarlig. Han anklaget selskapene for å «rase rett mot selvforbedrende superintelligens og gamble med våre liv». 38

Poenget hans var ikke at dagens chatbotter snart på egen hånd vil utrydde menneskeheten. Han hevdet i stedet at personer som bygger de mest avanserte modellene, oppriktig mener systemene kan bli overmenneskelige på oppgaver som dataangrep. Det kan, etter hans syn, skape veier til et katastrofalt kontrolltap. 38

Til BBC sa Coxon at AI-ansatte var «oppriktig redde» for utviklingstempoet. Han mente at det er «stor sjanse for at vi alle kan dø i nær framtid» dersom utviklingen ikke bremses. En reell nedbremsing måtte, etter hans vurdering, koordineres internasjonalt – også med Kina – og ikke bare innebære at ett land ensidig gir avkall på teknologikappløpet. 1

Støtte for bekymringen – men ikke en etablert sannsynlighet

Anthropic-forskeren Evan Hubinger støttet den overordnede bekymringen offentlig. Han sa at risikoen fra dagens modeller er lav, men anslo sannsynligheten for at AI kan drepe alle mennesker i løpet av et tiår til over 10 prosent. 13

Geoffrey Hinton har på tilsvarende måte argumentert for at et AI-overtakelses- eller utryddelsesscenario er en reell, ikke ubetydelig risiko. Slike tall er imidlertid subjektive ekspertvurderinger, ikke målbare prognoser. Den tilgjengelige dekningen dokumenterer ikke en forskningsmessig konsensus om en bestemt sannsynlighet. 813

Hva slags risiko viser den umiddelbare dokumentasjonen?

Debatten bygger først og fremst på bekymringer om cybermisbruk og rask kapasitetsvekst, ikke på dokumentasjon av et autonomt AI-angrep på menneskeheten. Avanserte modeller skal ha blitt brukt eller testet i cyberoperasjoner, blant annet forsøk knyttet til biologiske våpen, spionasje relatert til Ukraina og en hendelse omtalt som at OpenAI-agenter hacket Hugging Face. 263

Det siste må vurderes med varsomhet: Kildematerialet gir ikke nok primærkildedetaljer til uavhengig å bekrefte alle beskrivelser av hendelsen, inkludert nøyaktig hendelsesforløp, autorisasjon og hva som ble offentliggjort. 263

Forslaget om å «roe ned fronten»

Anthropic-sjef Dario Amodeis forslag, We Must Pace the Frontier, var ikke en oppfordring til å stoppe AI-utvikling helt. Han tok til orde for å senke tempoet i forbedringer av de mest avanserte modellene, bruke uavhengig overvåking og evaluering, etablere felles sikkerhetsstandarder mellom demokratiske land og på sikt få til internasjonale ordninger som også omfatter Kina. 12

OpenAI-sjef Sam Altman og xAI-sjef Elon Musk har offentlig støttet hovedretningen. Musk skrev kort at «Dario har rett». 113

Kritikken: Sikkerhet som konkurransefortrinn?

Motargumentet er at retorikk om eksistensiell risiko også kan fungere som en strategi for å beskytte etablerte aktører. Kritikere, blant dem Hugging Face-sjef Clément Delangue og Nvidia-sjef Jensen Huang, har advart om at strenge regler for de mest avanserte modellene kan sementere makten hos selskapene med størst kapital og gjøre Anthropic og OpenAI til et beskyttet duopol. 3

Denne kritikken handler om insentiver og markedsstruktur, ikke om bevis for at Coxons bekymring er uoppriktig. Skepsisen ble forsterket av at Anthropic ifølge rapporter forberedte en børsnotering som kan bli like stor som, eller større enn, SpaceX’ rekordnotering. 4

Anthropic svarer at selskapet allerede har blant bransjens sterkeste sikkerhetspraksiser, og at uavhengig tilsyn og felles standarder bør gjelde hele industrien – ikke gi selskapet særfordeler. 2

Kort sagt: Coxon, Hubinger, Amodei, Altman og Musk er enige om at stadig kraftigere AI krever mer koordinering og sterkere sikkerhetstiltak. De har derimot ikke lagt fram empirisk bevis for at menneskelig utryddelse er nært forestående. Hvor stor risikoen er, hvor raskt den kan oppstå og hvilke politiske tiltak som virker best, er fortsatt dypt omstridt.