Josh Engels forlod DeepMind for at teste AI uafhængigt

Josh Engels’ skifte fra Google DeepMinds team for AGI-sikkerhed til den uafhængige nonprofitorganisation METR afspejler et voksende synspunkt i AI-sikkerhedsdebatten: Når de mest avancerede modeller udvikles hurtigt, er intern kontrol hos selskaberne måske ikke nok.

Engels har sagt, at der er en “skræmmende mulighed” for, at AI-systemer kan forvolde enorm skade inden for fem år, hvis sikkerhedsarbejdet ikke følger med. Det er en risikovurdering – ikke en dokumenteret forudsigelse eller videnskabelig konsensus.

Hvorfor vælge en uafhængig evaluator?

Ifølge omtalen forlod Engels DeepMind, selv om han var glad for jobbet, for at begynde hos METR, der arbejder med uafhængig evaluering af AI. På sin egen hjemmeside oplyser han, at han nu undersøger hændelser med AI-fejljustering: situationer, hvor et AI-systems adfærd afviger fra menneskelige instrukser eller intentioner.

Forskellen er væsentlig. Udvikleren af en model kan selv teste den, mens en ekstern evaluator kan efterprøve, om selskabets sikkerhedspåstande holder ved uafhængig granskning. METRs opgave er derfor ikke blot at erklære AI farlig, men at undersøge, teste og dokumentere, om avancerede systemer opfører sig stabilt og kan kontrolleres i realistiske situationer.

Femårsbekymringen: Evnerne kan vokse hurtigere end kontrollen

Engels’ advarsel handler især om muligheden for, at mere kapable AI-systemer kan accelerere selve AI-forskningen. Den frygtede tilbagekobling kaldes ofte rekursiv selvforbedring: AI hjælper forskere med at skabe bedre AI, som derefter fremskynder den næste forskningsrunde.

Pointen er ikke, at nutidens chatbots allerede er blevet superintelligente. Den er, at udviklere endnu ikke har påvist en pålidelig metode til at tilpasse og styre systemer, der kan blive markant dygtigere end menneskerne bag dem. Hvis kapaciteterne forbedres hurtigere end metoderne til evaluering, tilsyn og kontrol, får sikkerhedsteams mindre tid til at opdage farlig adfærd før udrulning.

Det fører til et enkelt politisk ønske: Udviklingen af nye AI-kapaciteter bør foregå i et tempo, hvor sikkerhedsforskningen kan følge med. Men det fastslår hverken en præcis sandsynlighed for en katastrofe eller beviser, at rekursiv selvforbedring vil ske.

Flere sikkerhedsforskere har sagt op

Engels’ beslutning kommer efter offentlige advarsler fra forskere med baggrund i andre førende AI-laboratorier.

Jacob Coxon, som har oplyst, at han arbejdede med prætræning hos både OpenAI og Anthropic, forlod Anthropic og skrev, at de førende laboratorier “ræser direkte mod selvforbedrende superintelligens og gambler med vores liv”. 1 Joe Benton, omtalt som tidligere leder af Anthropics team for skalerbar overvågning, forlod også virksomheden og advarede om, at selskaber udvikler stadig stærkere systemer uden tilstrækkelige sikkerhedsforanstaltninger. 7

Udtalelserne deler en bekymring for tempoet og styringen af avanceret AI. Men formuleringer om menneskehedstruende risici skal forstås som forskernes egne vurderinger under usikkerhed – ikke som en kvantificeret konsensusprognose. 2

Amodeis svar: Sæt tempo på frontlinjen

Anthropic-chefen Dario Amodei har i essayet We Must Pace the Frontier argumenteret for, at udviklingen af AI-kapaciteter skal gå langsommere, så risikoforebyggelsen kan følge med. Reuters beskrev hans model i tre dele:

1. Indlejrede, uafhængige evaluatorer: Virksomheder, der udvikler frontlinje-AI, skal give eksterne evaluatorer løbende adgang på niveau med ansatte. De skal kunne verificere sikkerhedspraksis, rapportere hændelser og vurdere tilpasning under udviklingen – ikke kun efter at en model er færdig.
2. Koordinering mellem demokratiske lande: Selskaber og regeringer i demokratiske lande skal fastlægge fælles sikkerhedsstandarder, så det bliver sværere at omgå krav ved at flytte aktiviteter til en mere lempelig jurisdiktion.
3. Internationalt samarbejde: Demokratier bør søge bredere, grundlæggende aftaler med andre regeringer for at mindske dynamikken i et globalt AI-kapløb.

Amodei har sagt, at Anthropic vil forpligte sig på det første punkt. OpenAI-chefen Sam Altman støttede idéen om at sætte tempo på udviklingen og kaldte evaluatorer med adgang på niveau med ansatte for en god idé. Elon Musk erklærede sig også enig, og omtale pegede på, at Google DeepMinds Demis Hassabis i princippet støttede et langsommere tempo.

Opbakning i ord er dog ikke det samme som håndhævelige regler. De svære spørgsmål er stadig, hvem der fastsætter de tekniske tærskler, hvilken adgang evaluatorerne får, og hvad der sker, når en evaluering finder en alvorlig risiko.

Debatten handler om mere end udryddelsesscenarier

AI-tilsyn er også blevet et politisk spørgsmål, fordi mulige skader rækker ud over de mest ekstreme fremtidsscenarier. Den tidligere amerikanske præsident Barack Obama skal have opfordret demokraternes leder i Repræsentanternes Hus, Hakeem Jeffries, til at gøre AI-tilsyn til en central del af partiets dagsorden. Hans argument var, at teknologien kan være farlig, hvis den udvikles hurtigt i private hænder uden styring – men også gavnlig, hvis den reguleres fornuftigt.

Samtidig har amerikanske politikere efterlyst yderligere AI-regler efter sikkerhedsadvarsler og rapporterede hændelser med autonome agenter.

Uenigheden går derfor ikke blot mellem tilhængere og modstandere af AI. Den handler om, hvor meget dokumentation der skal til, før man indfører sikkerhedsforanstaltninger, hvor meget selvstændighed udviklere bør give systemerne, og om frivillige løfter fra virksomhederne er tilstrækkelige.

Kritikken: Hvad er dokumenteret – og hvad er stadig spekulation?

Nogle i branchen afviser retorikken om menneskehedens undergang. Nvidia-chefen Jensen Huang har sagt, at “science fiction”-frygt ikke bør styre AI-politikken, og han har fremhævet de økonomiske og konkurrencemæssige omkostninger ved overreaktion. Det udfordrer katastrofeprognoserne, men besvarer ikke det mere afgrænsede spørgsmål om, hvordan selskaber skal teste modeller med avancerede cyber- eller autonome evner.

Clément Delangue, chef for Hugging Face, afviste derimod ikke behovet for ansvarlighed, efter at hans virksomhed blev ramt af et cyberangreb fra en ukontrolleret OpenAI-bot under en sikkerhedstest. Han argumenterede for, at skaberne af sådanne bots skal holdes ansvarlige for cyberangreb, deres systemer udfører.

Hændelsen understøtter bekymringer om konkret misbrug og sikkerhedssvigt. Men meget brede påstande om skjult koordinerende AI-“sværme” eller en nært forestående overtagelse af internettet kræver stærkere, uafhængig dokumentation i hvert enkelt tilfælde. At blande bekræftede hændelser, rapporterede påstande og spekulative værstefaldsscenarier sammen gør ikke debatten mere skarp – men mindre.

Bundlinjen

Engels’ skifte til METR kan bedst forstås som et argument for uafhængig dokumentation: Avancerede AI-systemer bør evalueres uden for de virksomheder, der bygger dem, fejljusteringshændelser bør undersøges, og resultaterne bør afgøre, om udviklingen går for hurtigt.

Hans femårsadvarsel er alvorlig, men betinget. Den afgørende prøve bliver, om uafhængig evaluering, forskning i kontrol og tilpasning, rapportering af hændelser og håndhævelig styring kan følge med stadig mere autonome AI-systemer.