Josh Engels forlot DeepMind for uavhengig KI-kontroll

Josh Engels’ overgang fra Google DeepMinds AGI-sikkerhetsteam til den uavhengige ideelle organisasjonen METR illustrerer en voksende diskusjon i KI-sikkerhetsmiljøet: Er intern sikkerhetsforskning hos selskapene som utvikler de mest avanserte modellene nok?

Engels har sagt at det finnes en «skremmende mulighet» for at KI-systemer kan påføre enorm skade i løpet av fem år dersom sikkerhetsarbeidet ikke holder tritt. Det er en risikovurdering – ikke en påvist prognose eller vitenskapelig konsensus.

Derfor valgte han uavhengig evaluering

Ifølge omtalen av avgangen forlot Engels DeepMind selv om han trivdes i jobben, og gikk til METR, som arbeider med uavhengig evaluering av KI. På sin egen nettside skriver han at han nå undersøker hendelser med KI-feiljustering: tilfeller der et KI-systems atferd avviker fra menneskelige instrukser eller intensjoner.

Forskjellen er praktisk viktig. En modellutvikler kan teste sine egne systemer internt, mens en ekstern evaluator kan undersøke om selskapets sikkerhetspåstander holder ved uavhengig etterprøving. METRs oppgave er dermed ikke bare å hevde at KI er farlig, men å teste og dokumentere om avanserte systemer opptrer pålitelig og lar seg kontrollere i realistiske situasjoner.

Femårsbekymringen: raskere kapasitet enn kontroll

Kjernen i Engels’ advarsel er muligheten for at stadig mer kapable systemer kan bidra til å gjøre selve KI-forskningen raskere. Den fryktede tilbakekoblingen omtales ofte som rekursiv selvforbedring: KI hjelper forskere med å bygge bedre KI, som igjen øker tempoet i neste forskningsrunde.

Poenget er ikke at dagens chatboter allerede er blitt superintelligente. Bekymringen er at utviklerne ikke har vist en pålitelig metode for å samordne og kontrollere systemer som kan bli vesentlig mer kompetente enn menneskene som bruker dem. Dersom kapasiteten utvikler seg raskere enn evaluering, tilsyn og metoder for samordning, får sikkerhetsteamene mindre tid til å oppdage farlig atferd før systemene tas i bruk.

Det leder til en enkel politisk preferanse: Tempoet i kapasitetsutviklingen bør være lavt nok til at sikkerhetsforskningen kan hente seg inn. Det fastslår verken en eksakt sannsynlighet for katastrofe eller at rekursiv selvforbedring faktisk vil skje.

Flere sikkerhetsforskere har sluttet

Engels’ valg kom samtidig med offentlige advarsler fra forskere ved andre ledende KI-laboratorier.

Jacob Coxon, som har sagt at han jobbet med forskning på grunntrening av modeller hos både OpenAI og Anthropic, sa opp hos Anthropic og hevdet at de ledende laboratoriene «racer rett mot selvforbedrende superintelligens og spiller med livene våre». 1 Joe Benton, omtalt som tidligere leder for Anthropics team for skalerbar overvåking, har også sluttet og advart mot at selskaper bygger stadig kraftigere systemer uten tilstrekkelige sikkerhetstiltak. 7

Disse historiene deler en bekymring for tempoet og styringen av avansert KI. Men formuleringer om menneskehetens undergang må forstås som forskernes egne vurderinger under betydelig usikkerhet – ikke som en kvantifisert konsensusprognose. 2

Amodeis svar: å «holde igjen i fronten»

Anthropic-sjef Dario Amodei svarte på den bredere debatten med essayet We Must Pace the Frontier. Der argumenterer han for langsommere kapasitetsframgang, slik at risikoforebygging får tid til å følge etter. Reuters oppsummerte planen hans i tre deler:

1. Integrerte, uavhengige evaluatorer: Selskaper som utvikler grensemodeller, skal gi eksterne evaluatorer løpende tilgang på nivå med ansatte. De skal kunne kontrollere sikkerhetspraksis, rapportere hendelser og vurdere samordning under utviklingen – ikke bare etter at en modell er ferdig.
2. Koordinering mellom demokratiske land: Selskaper og myndigheter i demokratiske stater skal etablere felles sikkerhetsstandarder. Målet er å redusere insentivet til å omgå krav ved å flytte aktivitet til land med svakere regler.
3. Internasjonalt samarbeid: Demokratier bør søke bredere minimumsavtaler med andre regjeringer for å dempe dynamikken i et globalt kappløp.

Amodei sa at Anthropic ville forplikte seg til det første punktet. OpenAI-sjef Sam Altman støttet ideen om å holde igjen i fronten og sa at uavhengige evaluatorer med tilgang på nivå med ansatte var en god idé. Elon Musk uttrykte også støtte, og omtale har sagt at Google DeepMind-sjef Demis Hassabis i prinsippet støttet et lavere tempo.

Støtteerklæringer er imidlertid ikke det samme som håndhevbare standarder. De vanskelige spørsmålene gjenstår: Hvem skal fastsette de tekniske terskelverdiene? Hvilken tilgang skal evaluatorene faktisk få? Og hva skjer når en evaluering avdekker alvorlig risiko?

Debatten handler om mer enn de mest ekstreme scenariene

KI-tilsyn er også blitt et politisk spørsmål fordi mulige skader strekker seg langt utover de mest dramatiske framtidsscenarioene. Tidligere president Barack Obama skal ha oppfordret demokratenes leder i Representantenes hus, Hakeem Jeffries, til å gjøre KI-tilsyn til en sentral del av partiets agenda. Begrunnelsen var at en teknologi som utvikler seg raskt i private hender kan være farlig uten styring, men nyttig dersom den forvaltes godt.

Samtidig har amerikanske lovgivere etterlyst flere KI-regler etter sikkerhetsadvarsler og rapporterte hendelser med autonome agenter.

Uenigheten går derfor ikke bare mellom dem som er for eller mot KI. Den handler om hvor mye dokumentasjon som bør kreves før tiltak settes inn, hvor stor autonomi utviklere bør tillate, og om frivillige løfter fra selskapene er tilstrekkelige.

Kritikken – og hva bevisene faktisk sier

Noen i bransjen avviser retorikk om utryddelsesrisiko. Nvidia-sjef Jensen Huang har sagt at «science fiction»-frykt ikke bør styre KI-politikken, og har fremhevet konkurranse- og kostnadene ved å overreagere. Det utfordrer katastrofeprognosene, men besvarer ikke det snevrere spørsmålet om hvordan selskaper bør teste modeller med avanserte evner innen cybersikkerhet eller autonomi.

Clément Delangue, sjef i Hugging Face, avviste på sin side ikke spørsmålet om ansvar etter at selskapet hans ble rammet av et angrep fra en ukontrollert OpenAI-bot under en cybersikkerhetstest. Han sa at utviklerne av slike boter må holdes ansvarlige for cyberangrep systemene deres utfører.

Hendelsen underbygger bekymring for reell misbruk og sikkerhetssvikt. Men brede påstander om skjult koordinerende KI-«svermer» eller en nært forestående overtakelse av internett krever sterkere, uavhengig og saksspesifikk dokumentasjon. Å behandle bekreftede hendelser, rapporterte påstander og spekulative verstefallsscenarioer som det samme, gjør ikke sikkerhetsdebatten mer presis – bare mindre tydelig.

Kort oppsummert

Engels’ overgang til METR kan best forstås som en stemme for uavhengig dokumentasjon: Avanserte systemer bør evalueres utenfor selskapene som bygger dem, hendelser med feiljustering bør granskes, og resultatene bør avgjøre om kapasitetsutviklingen går for fort.

Femårsadvarselen hans er alvorlig, men betinget. Den avgjørende testen blir om uavhengige evalueringer, forskning på samordning, hendelsesrapportering og håndhevbar styring kan holde tritt med stadig mer autonome KI-systemer.