Anthropic-forskarens 10-procentiga riskbedömning skärper AI-debatten

Evan Hubingers offentliga uttalande visar inte att AI kommer att utplåna mänskligheten. Det säger något mer avgränsat – och mer betydelsefullt för AI-säkerhetsdebatten: chefen för alignment science på Anthropic uppgav att han personligen bedömer sannolikheten till över 10 procent inom det kommande decenniet. Samtidigt skrev han att Anthropic ännu inte har någon plan för att lösa alignment – alltså problemet att få AI-system att pålitligt följa mänskliga mål och värderingar – för superintelligenta system, och inte tydligt är på väg mot en sådan lösning. 12

Det ger konkret stöd åt kärnan i den kritik som den tidigare Anthropic- och OpenAI-forskaren Jacob Coxon framförde när han sade upp sig: ledande AI-labb kan driva utvecklingen mot betydligt mer kapabla system trots att metoderna för att hålla dem säkert under mänsklig kontroll inte är bevisade. 23

En personlig prognos – inte Anthropics officiella bedömning

Siffran ”över 10 procent” var Hubingers egen riskbedömning. Den presenterades inte som Anthropics officiella prognos, som en samsyn bland anställda eller som ett etablerat vetenskapligt resultat. 12

Det är en avgörande skillnad. En procentsiffra förklarar inte i sig vilken händelsekedja som skulle kunna leda till en katastrof, fastslår ingen tidslinje och bevisar inte att katastrofen är sannolik. Hubinger ska också ha sagt att risken från de modeller som finns i dag är låg. Hans oro gäller i stället framtida system som blir väsentligt mer kapabla, bland annat genom rekursiv självförbättring: att AI används för att skapa ännu kraftfullare AI. 210

Ändå väger uttalandet tungt eftersom det kommer från en person som leder alignment-arbete på ett stort frontier-labb, det vill säga ett företag som utvecklar modeller vid teknikens yttersta gräns. Det centrala är därför inte bara den uppseendeväckande siffran, utan glappet mellan snabbt växande kapacitet och säker kunskap om hur superintelligenta system ska kunna hållas under kontroll. 12

Därför förstärkte det Jacob Coxons kritik

Coxon, som tidigare arbetat både på OpenAI och Anthropic, sade upp sig med argumentet att inget av företagen agerade ansvarsfullt och att båda tävlade mot självförbättrande superintelligens. Hubinger gav offentligt Coxon rätt i att personer som bygger systemen på allvar ser möjligheten till utrotningsnivåer av skada. 23

Det bevisar inte att alla anställda delar samma uppfattning, och det gör inte Coxons redogörelse till en oberoende verifierad bedömning av båda bolagen. Men det blir svårare att avfärda uppsägningen som en enskild före detta anställds missnöje. En nuvarande chef inom alignment bekräftade den underliggande poängen: djup intern oro kan finnas parallellt med fortsatt utveckling av allt mer avancerade AI-system. 12

Samuel Marks närliggande uttalanden behöver läsas med samma försiktighet. Han beskrivs i rapporteringen som att han sagt att AI-utvecklare tror att tekniken kan orsaka mänsklig utrotning eller jämförbart svåra följder. Det är dock ett insiderperspektiv, inte publicerade belägg för en företagsövergripande riskprognos. 5

Kärnfrågan: styrning trots osäkerhet

Debatten framställs ofta som ”AI-domedag” mot ”AI-optimism”. Den mer användbara frågan är praktisk: vilka skyddsräcken bör krävas när möjliga skador kan bli globala och oåterkalleliga, men sannolikhet och tidshorisont är mycket osäkra?

Hubingers kommentarer gör flera frågor tydligare:

• Alignment är inte löst. Att ett företag arbetar hårt med säkerhet är inte samma sak som att det har visat en validerad metod för att kontrollera system som är mycket mer kapabla än dagens. 1
• Konkurrens kan försvåra frivillig återhållsamhet. Coxons invändning är att konkurrenstryck driver labben mot högre kapacitet även när viktiga säkerhetsfrågor saknar svar. 23
• Dagens modellsäkerhet är inte hela frågan. Hubinger skiljde mellan den låga risk han ser från nuvarande modeller och risken från framtida, betydligt kraftfullare system. 210
• Extern granskning är central. Allmänheten, kunder och regeringar har svårt att bedöma interna säkerhetsprocesser utan oberoende utvärderingar och transparent rapportering.

Detta är styrningsproblem, inte bevis för en nära förestående katastrof. Men just sådana problem kan bli betydligt svårare att hantera när systemen väl har fått farliga förmågor.

Uppgifter om testning ökar trycket på transparens

Enligt rapporter avböjde Anthropic att lämna in en ny modell till brittiska AI Safety Institute för tester före lansering. Uppgiften bör hanteras försiktigt: de tillgängliga redogörelserna beskriver detta som medieuppgifter, inte som ett bekräftat offentligt besked från företaget eller den brittiska staten. 10

Men uppgiften illustrerar varför frivilliga säkerhetsåtaganden möts med skepsis. Om ett företags egna säkerhetsansvariga medger att grundläggande alignment-frågor är olösta, är det rimligt att utomstående frågar vilka tester som genomfördes, vem som granskade dem, vilka resultat som delades och vid vilka kapacitetsnivåer skärpta kontrollåtgärder ska införas.

Vad en långsammare och säkrare väg kan innebära

Att förespråka ett långsammare tempo behöver inte betyda ett permanent stopp för all AI-forskning eller användning av AI. Det politiska argumentet handlar snarare om bindande kontroller innan system passerar särskilt betydelsefulla kapacitetströsklar.

Möjliga åtgärder är bland annat:

• oberoende tester av kapacitet och säkerhet före lansering;
• krav på rapportering av allvarliga incidenter och förmågor som innebär väsentlig risk;
• tydligare trösklar för när utvecklare måste införa starkare säkerhets- och styrningsåtgärder;
• revisioner som inte enbart bygger på utvecklarens egna försäkringar; samt
• internationell samordning, så att inget företag eller land pressas att tumma på säkerheten för att hinna ikapp konkurrenter.

Motiveringen är enkel: om risken är osäker men nedsidan kan vara extrem måste skyddsåtgärder kunna visas upp före, inte efter, en möjlig förlust av kontroll.

Det Hubingers uttalande faktiskt blottar

Hubingers inlägg blottar en spänning i centrum av utvecklingen av avancerad AI: ledande utvecklare kan öppet erkänna allvarliga långsiktiga risker och samtidigt fortsätta bygga mot de kapaciteter som gör riskerna mer angelägna. 12

Uttalandet avgör inte sannolikheten för katastrofal AI-skada och ska inte behandlas som Anthropics officiella förutsägelse. Däremot gör det alignment-debatten mer konkret. Frågan är inte längre bara om avancerad AI kan bli farlig, utan om företag och regeringar kan visa – med oberoende underlag, verkställbara regler och internationell samordning – att de är förberedda innan systemen blir för kraftfulla för att kunna styras säkert. 110