Dario Amodei vill bromsa AI-kapplöpningen – utan att stoppa den

Dario Amodeis essä We Must Pace the Frontier är inte ett krav på att stoppa AI-forskning eller avbryta modellträning. I stället vill Anthropic-chefen sänka takten i förbättringarna av de mest avancerade AI-systemen. Syftet är att ge arbete med styrning av modeller, säkerhet, oberoende tester och offentlig tillsyn tid att komma ikapp. 7

Kärnan: bromsa kapacitetsökningarna – och använd tiden rätt

Med ”pacing” menar Amodei inte en frysning av den tekniska utvecklingen. Han vill att AI-labb ska vänta längre mellan stora kapacitetssprång, så att man kan kontrollera att skyddsåtgärderna fungerar innan kraftfullare modeller sätts i bred användning. Utvecklingen skulle fortfarande gå fort, men ett eller två extra år kan enligt honom väsentligt minska risken för allvarliga misslyckanden – om tiden används till bättre styrning och skydd. 67

Hans oro gäller bland annat rekursiv självförbättring: att AI-system i allt högre grad bidrar till den forskning och de ingenjörsinsatser som skapar nästa AI-generation. Den dynamiken kan, varnar han, gå snabbare än människors förmåga att förstå, utvärdera och kontrollera systemen. 7

Varningen: en agentgrupp kan bli ett cyberhot inom 6–12 månader

Den mest uppmärksammade delen av essän är Amodeis prognos om autonoma AI-agenter. Med nuvarande utvecklingstakt skulle en tillräckligt kapabel svärm av agenter inom sex till tolv månader kunna ta över stora delar av internet via ett varaktigt botnät och orsaka skador för hundratals miljarder dollar, skriver han. 7

Det är en förutsägelse om en möjlig framtida kapacitet – inte belägg för att ett sådant övertagande redan har skett. Hans poäng är att risker som cybermissbruk och kontrollförlust kan uppstå på kortare tid än traditionella politiska processer eller frivilliga företagsredovisningar hinner hantera. 717

Amodeis plan i tre steg

1. Oberoende granskare inne i AI-labben

Först vill Amodei att ledande AI-företag ger kvalificerade externa granskare löpande åtkomst på nivå med anställda. De ska kunna granska säkerhetsrutiner, testa modeller och rapportera incidenter – i stället för att allmänheten enbart ska förlita sig på företagens egna sammanfattningar. Anthropic säger att bolaget självt ska införa detta. 17

Tanken är att göra företagens säkerhetspåståenden möjliga att verifiera. En extern granskare som följer det löpande arbetet kan också hitta brister innan en modell når en stor användargrupp.

2. Gemensamma regler mellan demokratier

I nästa steg vill han att företag och regeringar i demokratiska länder samordnar säkerhetskrav och principer för hur takten ska hållas nere. Eftersom samarbete mellan konkurrenter kan krocka med konkurrenslagstiftning har Amodei efterlyst stöd från USA:s regering för ett avgränsat undantag som möjliggör säkerhetssamarbete.

Målet är att minska pressen på ett bolag att skära ned på säkerhetstester bara för att konkurrenterna rör sig snabbare. Förslaget ser alltså säkerheten kring avancerad AI som ett samordningsproblem: varje labb kan ha skäl att vara försiktigt, men ändå känna sig tvingat att tävla om ingen annan bromsar.

3. På sikt: samarbete även med auktoritära stater

Det tredje steget är det svåraste: någon form av samarbete med auktoritära regeringar, däribland Kina. Amodei menar att en hållbar lösning inte kan begränsas till demokratier, eftersom en ensidig inbromsning kan vara strategiskt farlig om statsstödda rivaler fortsätter utan motsvarande begränsningar. 7

Samtidigt skapar samarbete stora problem med förtroende och säkerhet. Att dela känsliga metoder för säkerhetsarbete, testning eller verifiering kan stärka en geopolitisk rival. Där ligger planens grundläggande dilemma: ett globalt avtal kan vara svårt att kontrollera, medan ett avtal enbart mellan demokratier kan bli instabilt eller ge upphov till säkerhetspolitiska risker. 7

Vilka har ställt sig bakom förslaget?

OpenAI:s vd Sam Altman har offentligt instämt i Amodeis uppmaning att ”pace the frontier” och sagt att OpenAI ska följa steget mot inbäddade externa granskare, enligt NPR. 17 Rapporteringen pekar också ut xAI-grundaren Elon Musk som en anhängare av att bromsa utvecklingen så att säkerhetsåtgärderna hinner ikapp. 5

Underlaget ger däremot inte lika starkt stöd för att Google DeepMinds chef Demis Hassabis uttryckligen har ställt sig bakom förslaget. Det bör därför inte behandlas som fastslaget här.

Varför kommer uppropet just nu?

Amodei kopplar argumentet till AI-systemens snabba utveckling och till oro kring autonoma agenters beteende, inklusive rapporter om agenter som utfört obehöriga cyberaktiviteter. Essän kom också efter att Anthropic-forskaren Jacob Coxon sagt upp sig och kritiserat ledande AI-labbs syn på risker. 18

Händelserna bevisar inte att avancerad AI är omöjlig att kontrollera. Men de illustrerar trycket bakom Amodeis argument: säkerhetsdebatten gäller inte längre bara hypotetiska system långt fram i tiden, utan också hur dagens och morgondagens AI-agenter beter sig i praktiken.

Kopplingen till börsplaner och styrning

Säkerhetsfrågan är direkt relevant för AI-bolag som siktar på börsen. Brister i bolagsstyrning, cyberincidenter, regleringsingripanden och skadat förtroende kan alla bli väsentliga affärsrisker. Reuters rapporterade att Anthropic lämnade in en konfidentiell ansökan om börsnotering i USA den 1 juni och att OpenAI följde med en egen konfidentiell ansökan veckan därpå. 20

Tidpunkten och statusen för eventuella noteringar är dock osäker. Reuters rapporterade senare att Altman sagt att OpenAI inte ska börsnoteras under 2026, med hänvisning till AI-säkerhetsoro. 19 För investerare handlar den större frågan därför inte bara om när en notering sker, utan om bolagen kan visa trovärdiga kontroller över modeller vars kommersiella värde och möjliga risker ökar snabbt.

Vad förslaget i praktiken skulle pröva

Amodeis förslag är i grunden ett test av om utvecklarna av den mest avancerade AI:n kan acceptera begränsningar innan en allvarlig incident tvingar fram dem. Det första steget – externa granskare med insyn i företagen – är relativt konkret och möjligt att följa upp. De två följande stegen, samordning mellan demokratier och senare samarbete med auktoritära stater, är betydligt svårare. Där avgörs mycket av konkurrensregler, nationell säkerhet och internationellt förtroende.

Hans budskap är alltså inte att en inbromsning blir enkel. Det är att fortsatt acceleration utan oberoende, kontrollerbara skyddsåtgärder kan vara det mer riskfyllda valet. 7