Anthropic-chefs 10-procentsbud: Det afslører det om striden om AI-sikkerhed

Evan Hubingers offentlige udtalelse dokumenterer ikke, at AI vil føre til menneskehedens udslettelse. Den gjorde noget mere afgrænset – og usædvanligt væsentligt: Lederen af alignment-forskning hos Anthropic sagde, at han personligt vurderer sandsynligheden til over 10 procent inden for det næste årti, samtidig med at han erkendte, at Anthropic endnu ikke har en plan for at løse alignment for superintelligens eller en klart fastlagt vej til at gøre det. 12

Alignment betyder her problemet med at sikre, at meget avancerede AI-systemer fortsat handler i overensstemmelse med menneskelige mål og begrænsninger. Udtalelsen gav konkret tyngde til den bekymring, som den tidligere Anthropic- og OpenAI-forsker Jacob Coxon fremførte ved sin opsigelse: At de førende laboratorier kan være på vej mod langt stærkere systemer, selv om metoderne til pålideligt at holde dem under menneskelig kontrol endnu ikke er afprøvet. 23

En personlig vurdering – ikke en virksomhedsprognose

Tallet på »over 10 procent« var Hubingers egen vurdering. Det blev ikke fremlagt som Anthropics officielle sandsynlighedsestimat, som enighed blandt medarbejderne eller som en afsluttet videnskabelig prognose. 12

Det forbehold er afgørende. En sandsynlighedsvurdering forklarer ikke i sig selv en konkret mekanisme, fastslår ikke en tidslinje og beviser ikke, at en katastrofe er sandsynlig. Hubinger sagde ifølge omtalen også, at risikoen fra de modeller, der findes i dag, er lav. Hans bekymring handler om fremtidige systemer, der kan blive væsentligt mere kapable – blandt andet gennem rekursiv selvforbedring, hvor AI bruges til at udvikle mere kapabel AI. 210

Alligevel er udtalelsen bemærkelsesværdig, fordi den kommer fra en person, der leder alignment-arbejde i et stort AI-laboratorium i den teknologiske frontlinje. Det centrale er derfor ikke kun det dramatiske tal, men afstanden mellem stadig stærkere AI-kapabiliteter og sikker viden om, hvorvidt superintelligente systemer kan holdes under menneskelig kontrol. 12

Derfor styrker det Jacob Coxons advarsel

Coxon, der har arbejdet både hos OpenAI og Anthropic, sagde op med kritik af, at ingen af virksomhederne handlede ansvarligt, og at begge ræser mod selvforbedrende superintelligens. Hubinger tilsluttede sig offentligt Coxons påstand om, at folk, der bygger systemerne, oprigtigt anser udfald på niveau med menneskelig udslettelse som mulige. 23

Det beviser ikke, at alle ansatte deler samme synspunkt, og det gør ikke Coxons beretning til en uafhængigt verificeret vurdering af begge virksomheder. Men det gør det sværere at afvise hans opsigelse som en enkelt tidligere medarbejders utilfredshed. En nuværende leder på alignment-området bekræftede den bagvedliggende pointe: Dybt alvorlige interne bekymringer kan eksistere side om side med fortsat udvikling af AI i frontlinjen. 12

Samuel Marks’ relaterede udtalelser bør læses med samme forsigtighed. Omtalen beskriver ham som en, der sagde, at AI-udviklere mener, at teknologien kan føre til menneskelig udslettelse eller lignende alvorlige udfald. Det er imidlertid et insiderperspektiv – ikke offentliggjort belæg for en virksomhedsdækkende risikovurdering. 5

Den egentlige konflikt handler om styring under usikkerhed

Sagen bliver ofte reduceret til »AI-dommedag mod AI-optimisme«. Det mere brugbare spørgsmål er praktisk: Hvilke sikkerhedskrav bør gælde, når en mulig skade kan være global og uoprettelig, mens sandsynlighed og tidshorisont er meget usikre?

Hubingers udtalelser skærper især fire spørgsmål:

• Alignment er ikke løst. At et laboratorium arbejder seriøst med sikkerhed er ikke det samme som at have en dokumenteret metode til at kontrollere systemer, der er langt mere kapable end de nuværende. 1
• Konkurrence kan gøre frivillig tilbageholdenhed svær. Coxons kritik var, at konkurrencepresset driver laboratorier mod større kapabilitet, selv om centrale sikkerhedsspørgsmål ikke er afklaret. 23
• Sikkerheden i dagens modeller er ikke hele spørgsmålet. Hubinger skelnede mellem en lavt vurderet risiko fra nutidens modeller og risikoen ved fremtidige, langt mere kapable systemer. 210
• Ekstern kontrol er vigtig. Offentligheden, kunder og myndigheder kan vanskeligt vurdere interne sikkerhedsprocesser uden uafhængig evaluering og gennemsigtig rapportering.

Det er problemer med styring og regulering – ikke bevis for en nært forestående katastrofe. Men netop den slags problemer kan være langt sværere at løse, hvis systemerne først får farlige kapabiliteter.

Gennemsigtighed lægger yderligere pres på virksomhederne

Der har været rapporter om, at Anthropic ikke indsendte sin seneste model til det britiske AI Safety Institute til test før lanceringen. Oplysningen bør behandles forsigtigt: De tilgængelige beretninger beskriver den som en rapport, ikke som en offentligt bekræftet konklusion fra virksomheden eller den britiske regering. 10

Alligevel illustrerer påstanden, hvorfor frivillige sikkerhedsløfter mødes med skepsis. Når virksomhedens egne sikkerhedsfolk anerkender uløste alignment-udfordringer, er det rimeligt at spørge: Hvilke test blev gennemført? Hvem gennemgik dem? Hvilke resultater blev delt? Og hvilke kapabilitetsgrænser udløser skærpede kontroller?

Hvad et langsommere og sikrere forløb kan indebære

Et krav om at sænke tempoet behøver ikke at betyde et permanent stop for al AI-forskning eller udrulning. Det politiske argument handler snarere om håndhævelige kontroller, før systemer passerer særligt betydningsfulde kapabilitetsgrænser.

Mulige tiltag kan være:

• uafhængige evalueringer af kapabiliteter og sikkerhed før lancering;
• krav om indberetning af alvorlige hændelser og væsentligt farlige kapabiliteter;
• tydeligere grænser for, hvornår udviklere skal indføre stærkere sikkerheds- og styringsforanstaltninger;
• revisioner, der ikke alene bygger på udviklerens egne forsikringer; og
• international koordinering, så ingen enkelt virksomhed eller stat presses til at gå på kompromis med sikkerheden for at følge med konkurrenterne.

Begrundelsen er enkel: Hvis sandsynligheden er usikker, men konsekvensen kan være ekstrem, skal sikkerhedsforanstaltninger kunne dokumenteres før – ikke efter – et muligt kontroltab.

Det Hubingers udtalelse i sidste ende viser

Hubingers opslag blotlægger en spænding i centrum af AI-udviklingen i frontlinjen: Ledende udviklere kan offentligt anerkende alvorlige langsigtede risici, samtidig med at de fortsætter med at bygge mod de kapabiliteter, der gør risiciene mere presserende. 12

Udtalelsen afgør hverken sandsynligheden for katastrofal AI-skade eller bør læses som Anthropics officielle forudsigelse. Den gør dog alignment-debatten mere konkret. Spørgsmålet er ikke længere kun, om avanceret AI kan blive farlig. Det er, om virksomheder og regeringer gennem uafhængig dokumentation, håndhævelige regler og international koordinering kan vise, at de er klar, før de relevante systemer bliver for stærke til at styre forsvarligt. 110