Det konkrete tekniske faresignal er rekursiv selvforbedring. Begrebet beskriver et scenarie, hvor et AI-system selv kan designe, bygge og træne en mere kapabel efterfølger uden væsentlig menneskelig indblanding .
Anthropic understreger, at grænsen endnu ikke er overskredet, og at udviklingen ikke er uundgåelig. Men selskabet advarer om, at den kan nås tidligere, end de fleste institutioner er forberedt på . Hvis AI-systemer kan forbedre sig hurtigere, end myndigheder, forskere og offentlighed kan forstå og regulere dem, kan menneskers mulighed for at føre tilsyn blive svækket .
Selskabet offentliggjorde samtidig et opsigtsvækkende internt tal: 80 procent af den kode, Anthropic selv integrerer i sin kodebase, bliver ifølge selskabet skrevet af AI-systemet Claude . Det er ikke det samme som fuld selvforbedring, men Anthropic bruger udviklingen som et tegn på, hvor hurtigt AI allerede er ved at blive en del af selve udviklingsprocessen.
Anthropics argument er også et klassisk kollektivt handlingsproblem. Hvis ét laboratorium bremser alene, mens konkurrenterne fortsætter, kan det miste både teknologisk terræn og kunder. Derfor efterlyser selskabet fælles regler, verificering og deltagelse fra alle større laboratorier . Anthropic-direktør Dario Amodei har tidligere på Reddit nævnt, at rekursiv selvforbedring muligvis kan ligge 6-12 måneder ude i fremtiden .
Den 9. juni fulgte OpenAI op med et forslag om en international organisation, der skal gøre koordineret handling mulig – herunder at sænke udviklingen af frontier-AI, hvis det bliver nødvendigt .
I et notat skrevet af direktør Sam Altman og chef-forsker Jakub Pachocki skrev selskabet, at målet bør være at sikre, at samfundets robusthed, sikkerhed og evne til at tilpasse sig kan følge med AI-udviklingen . OpenAI har samtidig vurderet, at AI-systemer inden marts 2028 kan udføre en betydelig del af deres egen forskning sammen med menneskelige forskere .
OpenAI kobler forslaget til princippet om demokratisk styring: Det bør være demokratisk valgte regeringer – ikke private teknologiselskaber – der fastlægger rammerne for de mest avancerede AI-systemer . I et separat amerikansk forslag anbefalede selskabet blandt andet en national ramme for sikkerhedslovgivning, en styrkelse af Center for AI Standards and Innovation (CAISI) som central føderal institution og en bredere plan for at håndtere konsekvenser for national sikkerhed og offentlig sikkerhed .
Forslaget er dog endnu ikke en international traktat eller en eksisterende myndighed. Det er et politisk udspil, og de tilgængelige oplysninger viser ikke, at OpenAI allerede har accepteret en ekstern organisation med praktisk magt til at blokere en konkret træningskørsel eller modeludgivelse.
Samtidigheden med selskabernes børsplaner gør udmeldingerne mere komplekse.
Dermed står de to selskaber i en situation, hvor de på den ene side siger, at udviklingen skal kunne bremses af eksterne hensyn, og på den anden side skal overbevise investorer om, at væksten kan fortsætte i et historisk tempo.
For Anthropic er den koordinerede pause netop et forsøg på at løse dette dilemma: En ensidig opbremsning giver ringe mening, hvis rivalerne fortsætter kapløbet . OpenAI viser samtidig den kommercielle side af problemet gennem udvidelsen af sin virksomhedstjeneste Frontier, selektiv adgang til cyber-egnede modeller og fortsatte bestræbelser på at vinde markedsandele .
Den fælles bekymring handler om tempoet mellem teknologien og institutionerne.
Rekursiv selvforbedring er den mulige acceleration, der kan opstå, hvis AI selv kan forbedre sin kode, arkitektur eller træningsproces. Hver ny version kan i så fald bidrage til at skabe en endnu stærkere version. Anthropic siger, at dette endnu ikke er en realitet, men at udviklingen kan komme tidligere end samfundets beredskab .
Samfundets tempo er den anden halvdel af problemet. Lovgivning, myndighedstilsyn og internationale aftaler arbejder normalt langt langsommere end teknologisk udvikling. Hvis AI-kapaciteten løber fra institutionerne, kan det blive svært at indføre meningsfuldt tilsyn, efter at systemerne allerede er taget i brug .
I USA er der allerede tegn på, at myndighederne overvejer en stærkere rolle. Det Hvide Hus skulle i maj 2026 arbejde på en model, hvor Anthropic, Google og OpenAI skal indsende nye frontier-modeller til et føderalt kontrolpanel før lancering . Samme måned blev det rapporteret, at CAISI’s testprogram omfattede alle større amerikanske frontier-laboratorier, herunder Google DeepMind, Microsoft og xAI. OpenAI og Anthropic havde været en del af programmet siden 2024 .
Sådanne test- og vurderingsaftaler er dog ikke det samme som en myndighed, der kan stoppe en model. Den internationale organisation, som OpenAI og Anthropic nu taler for, eksisterer heller ikke endnu.
Det er her, den virkelige prøve ligger.
Anthropics model bygger på, at de største laboratorier accepterer fælles og verificerbare regler. Men der er endnu ikke klare beviser for, at selskabet ville acceptere en bindende afgørelse, som stoppede en af dets egne træningskørsler eller forsinkede en produktlancering – især ikke, hvis investorer efter en børsnotering forventer fortsat vækst.
OpenAI har formuleret sig mere konkret om institutionel styring, men står over for det samme dilemma. Selskabet udvikler nye forretningstjenester, arbejder med kontrolleret adgang til avancerede modeller og forbereder sig på aktiemarkedet . En bindende opbremsning kan derfor betyde tabte kunder, mindre markedsandel og skuffede investorer.
Det er forskellen på en frivillig pause og reel regulering. En frivillig pause kan altid trækkes tilbage. En bindende regel kræver, at selskaberne accepterer at afgive en del af kontrollen – også når konkurrenterne måske ikke gør det.
Juni-udmeldingerne viser derfor et reelt skifte i debatten: To af verdens mest værdifulde AI-selskaber siger nu offentligt, at udviklingen kan få brug for en ekstern nødbremse. Men det er endnu uvist, om resultatet bliver håndhævelige internationale regler eller blot et lag af sikkerhedspolitik oven på et stadig hurtigere kommercielt kapløb.
Det konkrete tekniske faresignal er rekursiv selvforbedring. Begrebet beskriver et scenarie, hvor et AI-system selv kan designe, bygge og træne en mere kapabel efterfølger uden væsentlig menneskelig indblanding .
Anthropic understreger, at grænsen endnu ikke er overskredet, og at udviklingen ikke er uundgåelig. Men selskabet advarer om, at den kan nås tidligere, end de fleste institutioner er forberedt på . Hvis AI-systemer kan forbedre sig hurtigere, end myndigheder, forskere og offentlighed kan forstå og regulere dem, kan menneskers mulighed for at føre tilsyn blive svækket .
Selskabet offentliggjorde samtidig et opsigtsvækkende internt tal: 80 procent af den kode, Anthropic selv integrerer i sin kodebase, bliver ifølge selskabet skrevet af AI-systemet Claude . Det er ikke det samme som fuld selvforbedring, men Anthropic bruger udviklingen som et tegn på, hvor hurtigt AI allerede er ved at blive en del af selve udviklingsprocessen.
Anthropics argument er også et klassisk kollektivt handlingsproblem. Hvis ét laboratorium bremser alene, mens konkurrenterne fortsætter, kan det miste både teknologisk terræn og kunder. Derfor efterlyser selskabet fælles regler, verificering og deltagelse fra alle større laboratorier . Anthropic-direktør Dario Amodei har tidligere på Reddit nævnt, at rekursiv selvforbedring muligvis kan ligge 6-12 måneder ude i fremtiden .
Den 9. juni fulgte OpenAI op med et forslag om en international organisation, der skal gøre koordineret handling mulig – herunder at sænke udviklingen af frontier-AI, hvis det bliver nødvendigt .
I et notat skrevet af direktør Sam Altman og chef-forsker Jakub Pachocki skrev selskabet, at målet bør være at sikre, at samfundets robusthed, sikkerhed og evne til at tilpasse sig kan følge med AI-udviklingen . OpenAI har samtidig vurderet, at AI-systemer inden marts 2028 kan udføre en betydelig del af deres egen forskning sammen med menneskelige forskere .
OpenAI kobler forslaget til princippet om demokratisk styring: Det bør være demokratisk valgte regeringer – ikke private teknologiselskaber – der fastlægger rammerne for de mest avancerede AI-systemer . I et separat amerikansk forslag anbefalede selskabet blandt andet en national ramme for sikkerhedslovgivning, en styrkelse af Center for AI Standards and Innovation (CAISI) som central føderal institution og en bredere plan for at håndtere konsekvenser for national sikkerhed og offentlig sikkerhed .
Forslaget er dog endnu ikke en international traktat eller en eksisterende myndighed. Det er et politisk udspil, og de tilgængelige oplysninger viser ikke, at OpenAI allerede har accepteret en ekstern organisation med praktisk magt til at blokere en konkret træningskørsel eller modeludgivelse.
Samtidigheden med selskabernes børsplaner gør udmeldingerne mere komplekse.
Dermed står de to selskaber i en situation, hvor de på den ene side siger, at udviklingen skal kunne bremses af eksterne hensyn, og på den anden side skal overbevise investorer om, at væksten kan fortsætte i et historisk tempo.
For Anthropic er den koordinerede pause netop et forsøg på at løse dette dilemma: En ensidig opbremsning giver ringe mening, hvis rivalerne fortsætter kapløbet . OpenAI viser samtidig den kommercielle side af problemet gennem udvidelsen af sin virksomhedstjeneste Frontier, selektiv adgang til cyber-egnede modeller og fortsatte bestræbelser på at vinde markedsandele .
Den fælles bekymring handler om tempoet mellem teknologien og institutionerne.
Rekursiv selvforbedring er den mulige acceleration, der kan opstå, hvis AI selv kan forbedre sin kode, arkitektur eller træningsproces. Hver ny version kan i så fald bidrage til at skabe en endnu stærkere version. Anthropic siger, at dette endnu ikke er en realitet, men at udviklingen kan komme tidligere end samfundets beredskab .
Samfundets tempo er den anden halvdel af problemet. Lovgivning, myndighedstilsyn og internationale aftaler arbejder normalt langt langsommere end teknologisk udvikling. Hvis AI-kapaciteten løber fra institutionerne, kan det blive svært at indføre meningsfuldt tilsyn, efter at systemerne allerede er taget i brug .
I USA er der allerede tegn på, at myndighederne overvejer en stærkere rolle. Det Hvide Hus skulle i maj 2026 arbejde på en model, hvor Anthropic, Google og OpenAI skal indsende nye frontier-modeller til et føderalt kontrolpanel før lancering . Samme måned blev det rapporteret, at CAISI’s testprogram omfattede alle større amerikanske frontier-laboratorier, herunder Google DeepMind, Microsoft og xAI. OpenAI og Anthropic havde været en del af programmet siden 2024 .
Sådanne test- og vurderingsaftaler er dog ikke det samme som en myndighed, der kan stoppe en model. Den internationale organisation, som OpenAI og Anthropic nu taler for, eksisterer heller ikke endnu.
Det er her, den virkelige prøve ligger.
Anthropics model bygger på, at de største laboratorier accepterer fælles og verificerbare regler. Men der er endnu ikke klare beviser for, at selskabet ville acceptere en bindende afgørelse, som stoppede en af dets egne træningskørsler eller forsinkede en produktlancering – især ikke, hvis investorer efter en børsnotering forventer fortsat vækst.
OpenAI har formuleret sig mere konkret om institutionel styring, men står over for det samme dilemma. Selskabet udvikler nye forretningstjenester, arbejder med kontrolleret adgang til avancerede modeller og forbereder sig på aktiemarkedet . En bindende opbremsning kan derfor betyde tabte kunder, mindre markedsandel og skuffede investorer.
Det er forskellen på en frivillig pause og reel regulering. En frivillig pause kan altid trækkes tilbage. En bindende regel kræver, at selskaberne accepterer at afgive en del af kontrollen – også når konkurrenterne måske ikke gør det.
Juni-udmeldingerne viser derfor et reelt skifte i debatten: To af verdens mest værdifulde AI-selskaber siger nu offentligt, at udviklingen kan få brug for en ekstern nødbremse. Men det er endnu uvist, om resultatet bliver håndhævelige internationale regler eller blot et lag af sikkerhedspolitik oven på et stadig hurtigere kommercielt kapløb.