Men tajmingen gör budskapet mer komplicerat. Samtidigt som bolagen talar om externa begränsningar förbereder de sig för några av historiens största tekniknoteringar.
Anthropic byggde sitt förslag kring det bolaget kallar rekursiv självförbättring. Det beskriver ett scenario där ett AI-system självständigt kan utforma, bygga och träna en mer kapabel efterföljare – och där varje ny version i sin tur kan förbättra nästa.
Anthropic betonar att denna tröskel ännu inte har passerats och att utvecklingen inte är oundviklig. Men bolaget varnar för att den kan nås tidigare än många institutioner är förberedda på . Om AI-system kan förbättra sig snabbare än myndigheter och samhälle hinner förstå, reglera eller begränsa dem, kan människor gradvis förlora kontrollen.
I rapporten When AI Builds Itself skriver Anthropic att full rekursiv självförbättring kan öka risken för att människor tappar kontrollen över AI-system. Om systemen själva konstruerar sina efterföljare blir dagens metoder för säkerhet, övervakning och styrning mindre tillförlitliga .
Bolaget pekar också på ett konkret internt mått: 80 procent av koden som Anthropic slår samman i sin egen kodbas har redan skrivits av Claude . Det betyder inte att Claude självständigt utvecklar en ny generation av sig själv, men Anthropic använder siffran som ett tecken på hur snabbt AI:s roll i AI-utvecklingen växer.
Därför efterlyser bolaget en samordnad och verifierbar mekanism som kan sakta ned eller tillfälligt stoppa utvecklingen om riskerna ökar snabbare än samhällets förmåga att hantera dem . En ensidig paus skulle enligt resonemanget vara verkningslös om konkurrenterna fortsätter kapplöpningen.
Den 9 juni anslöt sig OpenAI till idén om internationell samordning. Ett PM från vd:n Sam Altman och chefsforskaren Jakub Pachocki föreslog en global organisation med uppgiften att göra samordnade åtgärder möjliga – inklusive att bromsa frontier-utvecklingen när det behövs .
OpenAI formulerade målet som att samhällets motståndskraft, säkerhet och förmåga att anpassa sig ska hinna med AI-utvecklingen . Bolaget har dessutom uppskattat att AI-system redan i mars 2028 kan utföra en betydande del av sin egen forskning tillsammans med mänskliga forskare .
Förslaget knyter an till OpenAI:s idé om demokratisk styrning: reglerna för de mest avancerade systemen bör fastställas av demokratiska regeringar, inte enbart av privata teknikbolag . I ett separat amerikanskt policydokument har OpenAI föreslagit ett nationellt ramverk, en stärkt roll för Center for AI Standards and Innovation, CAISI, samt en bredare plan för att hantera nationella säkerhets- och samhällsrisker .
Det är dock viktigt att skilja mellan ett politiskt förslag och faktisk myndighetsmakt. Den internationella organisationen finns inte ännu, och källorna visar inte att OpenAI redan har accepterat en extern instans som kan stoppa en träningskörning eller blockera en modell från lansering.
Här uppstår den centrala konflikten.
Det innebär att bolagen samtidigt försöker övertyga omvärlden om två saker:
Anthropic har dessutom fortsatt att utveckla en modell för kontrollerad tillgång till särskilt kraftfulla cybermodeller, medan OpenAI både expanderar sina företagsprodukter och arbetar med selektiv tillgång till avancerade system . Det visar hur bolagen försöker begränsa riskerna utan att överge marknaden.
Den gemensamma nämnaren i förslagen är inte bara frågan om vad AI kan göra, utan hur snabbt förmågan kan öka.
Rekursiv självförbättring kan skapa en återkopplingsloop: ett system utvecklar en bättre version, som i sin tur utvecklar en ännu bättre version. Om denna process blir tillräckligt snabb kan traditionella tester, säkerhetsgranskningar och politiska beslut hamna på efterkälken .
Samhällets tempo är den andra delen av problemet. Myndigheter, lagstiftare och internationella avtal arbetar normalt långsammare än teknikföretagens utvecklingscykler. Anthropic varnar för att ett gap mellan AI:s förmågor och samhällets styrning kan göra det svårare att ingripa i tid .
I USA diskuteras därför modeller för hårdare förhandskontroll. Vita huset uppges ha övervägt ett system där nya frontier-modeller måste granskas av en federal nämnd innan de släpps, ungefär som läkemedel granskas före godkännande . Samtidigt har CAISI, som ligger under det amerikanska standardiseringsorganet NIST, byggt ut sitt testprogram till att omfatta de stora amerikanska frontier-laboratorierna .
Sådana avtal innebär extern granskning, men de ger inte nödvändigtvis myndigheterna makt att stoppa en lansering . Den internationella organisation som OpenAI och Anthropic nu förespråkar skulle vara ett betydligt större steg.
Det är här retoriken möter verkligheten.
Anthropics förslag bygger på att alla ledande laboratorier deltar. Om bara ett bolag bromsar medan konkurrenterna fortsätter, riskerar det att förlora både tid och marknadsandelar . Men det återstår att se om Anthropic skulle acceptera ett bindande beslut som stoppade en egen träningskörning eller försenade en modell inför en börsnotering.
OpenAI:s förslag är mer institutionellt formulerat, men samma frågetecken kvarstår. Bolaget vill se en global aktör som kan möjliggöra samordnad inbromsning . Samtidigt bygger OpenAI ut sina företagstjänster, hanterar tillgången till kraftfulla cybermodeller och förbereder en potentiellt historisk börsintroduktion . Ett bindande stopp skulle kunna innebära förlorade kunder, tappade marknadsandelar och besvikna investerare.
Det är skillnaden mellan en frivillig paus och bindande styrning som kommer att avgöra vad juniöverenskommelsen faktiskt betyder. Två av världens mest värdefulla AI-bolag har nu sagt att utvecklingen kan behöva bromsas och att regeringar bör sätta spelreglerna. Men den avgörande frågan är ännu obesvarad: kommer bolagen att acceptera en myndighet som verkligen kan säga nej?
Så länge svaret saknas är uppmaningen både ett säkerhetspolitiskt ställningstagande och en del av en allt hårdare kommersiell kapplöpning.
Men tajmingen gör budskapet mer komplicerat. Samtidigt som bolagen talar om externa begränsningar förbereder de sig för några av historiens största tekniknoteringar.
Anthropic byggde sitt förslag kring det bolaget kallar rekursiv självförbättring. Det beskriver ett scenario där ett AI-system självständigt kan utforma, bygga och träna en mer kapabel efterföljare – och där varje ny version i sin tur kan förbättra nästa.
Anthropic betonar att denna tröskel ännu inte har passerats och att utvecklingen inte är oundviklig. Men bolaget varnar för att den kan nås tidigare än många institutioner är förberedda på . Om AI-system kan förbättra sig snabbare än myndigheter och samhälle hinner förstå, reglera eller begränsa dem, kan människor gradvis förlora kontrollen.
I rapporten When AI Builds Itself skriver Anthropic att full rekursiv självförbättring kan öka risken för att människor tappar kontrollen över AI-system. Om systemen själva konstruerar sina efterföljare blir dagens metoder för säkerhet, övervakning och styrning mindre tillförlitliga .
Bolaget pekar också på ett konkret internt mått: 80 procent av koden som Anthropic slår samman i sin egen kodbas har redan skrivits av Claude . Det betyder inte att Claude självständigt utvecklar en ny generation av sig själv, men Anthropic använder siffran som ett tecken på hur snabbt AI:s roll i AI-utvecklingen växer.
Därför efterlyser bolaget en samordnad och verifierbar mekanism som kan sakta ned eller tillfälligt stoppa utvecklingen om riskerna ökar snabbare än samhällets förmåga att hantera dem . En ensidig paus skulle enligt resonemanget vara verkningslös om konkurrenterna fortsätter kapplöpningen.
Den 9 juni anslöt sig OpenAI till idén om internationell samordning. Ett PM från vd:n Sam Altman och chefsforskaren Jakub Pachocki föreslog en global organisation med uppgiften att göra samordnade åtgärder möjliga – inklusive att bromsa frontier-utvecklingen när det behövs .
OpenAI formulerade målet som att samhällets motståndskraft, säkerhet och förmåga att anpassa sig ska hinna med AI-utvecklingen . Bolaget har dessutom uppskattat att AI-system redan i mars 2028 kan utföra en betydande del av sin egen forskning tillsammans med mänskliga forskare .
Förslaget knyter an till OpenAI:s idé om demokratisk styrning: reglerna för de mest avancerade systemen bör fastställas av demokratiska regeringar, inte enbart av privata teknikbolag . I ett separat amerikanskt policydokument har OpenAI föreslagit ett nationellt ramverk, en stärkt roll för Center for AI Standards and Innovation, CAISI, samt en bredare plan för att hantera nationella säkerhets- och samhällsrisker .
Det är dock viktigt att skilja mellan ett politiskt förslag och faktisk myndighetsmakt. Den internationella organisationen finns inte ännu, och källorna visar inte att OpenAI redan har accepterat en extern instans som kan stoppa en träningskörning eller blockera en modell från lansering.
Här uppstår den centrala konflikten.
Det innebär att bolagen samtidigt försöker övertyga omvärlden om två saker:
Anthropic har dessutom fortsatt att utveckla en modell för kontrollerad tillgång till särskilt kraftfulla cybermodeller, medan OpenAI både expanderar sina företagsprodukter och arbetar med selektiv tillgång till avancerade system . Det visar hur bolagen försöker begränsa riskerna utan att överge marknaden.
Den gemensamma nämnaren i förslagen är inte bara frågan om vad AI kan göra, utan hur snabbt förmågan kan öka.
Rekursiv självförbättring kan skapa en återkopplingsloop: ett system utvecklar en bättre version, som i sin tur utvecklar en ännu bättre version. Om denna process blir tillräckligt snabb kan traditionella tester, säkerhetsgranskningar och politiska beslut hamna på efterkälken .
Samhällets tempo är den andra delen av problemet. Myndigheter, lagstiftare och internationella avtal arbetar normalt långsammare än teknikföretagens utvecklingscykler. Anthropic varnar för att ett gap mellan AI:s förmågor och samhällets styrning kan göra det svårare att ingripa i tid .
I USA diskuteras därför modeller för hårdare förhandskontroll. Vita huset uppges ha övervägt ett system där nya frontier-modeller måste granskas av en federal nämnd innan de släpps, ungefär som läkemedel granskas före godkännande . Samtidigt har CAISI, som ligger under det amerikanska standardiseringsorganet NIST, byggt ut sitt testprogram till att omfatta de stora amerikanska frontier-laboratorierna .
Sådana avtal innebär extern granskning, men de ger inte nödvändigtvis myndigheterna makt att stoppa en lansering . Den internationella organisation som OpenAI och Anthropic nu förespråkar skulle vara ett betydligt större steg.
Det är här retoriken möter verkligheten.
Anthropics förslag bygger på att alla ledande laboratorier deltar. Om bara ett bolag bromsar medan konkurrenterna fortsätter, riskerar det att förlora både tid och marknadsandelar . Men det återstår att se om Anthropic skulle acceptera ett bindande beslut som stoppade en egen träningskörning eller försenade en modell inför en börsnotering.
OpenAI:s förslag är mer institutionellt formulerat, men samma frågetecken kvarstår. Bolaget vill se en global aktör som kan möjliggöra samordnad inbromsning . Samtidigt bygger OpenAI ut sina företagstjänster, hanterar tillgången till kraftfulla cybermodeller och förbereder en potentiellt historisk börsintroduktion . Ett bindande stopp skulle kunna innebära förlorade kunder, tappade marknadsandelar och besvikna investerare.
Det är skillnaden mellan en frivillig paus och bindande styrning som kommer att avgöra vad juniöverenskommelsen faktiskt betyder. Två av världens mest värdefulla AI-bolag har nu sagt att utvecklingen kan behöva bromsas och att regeringar bör sätta spelreglerna. Men den avgörande frågan är ännu obesvarad: kommer bolagen att acceptera en myndighet som verkligen kan säga nej?
Så länge svaret saknas är uppmaningen både ett säkerhetspolitiskt ställningstagande och en del av en allt hårdare kommersiell kapplöpning.