Med rekursiv selvforbedring mener Anthropic et scenario der et AI-system selv kan utforme, bygge og trene en mer kapabel etterfølger – uten vesentlig menneskelig medvirkning .
Selskapet understreker at dette punktet ikke er nådd, og at utviklingen ikke nødvendigvis vil ende der. Samtidig advarer Anthropic om at terskelen kan nås tidligere enn mange institusjoner er forberedt på . Den grunnleggende bekymringen handler om tempo: Hvis AI-systemer kan forbedre seg raskere enn samfunnet rekker å forstå, regulere og kontrollere dem, kan mennesker miste grepet om utviklingen .
Anthropic har også offentliggjort et oppsiktsvekkende internt tall: 80 prosent av koden selskapet tar inn i sitt eget kodegrunnlag, er allerede skrevet av AI-systemet Claude . Tallet er ikke det samme som full rekursiv selvforbedring, men illustrerer hvor mye av utviklingsarbeidet som allerede støttes av AI.
Selskapets løsning er derfor ikke at ett laboratorium skal bremse alene. Anthropic mener en ensidig pause vil være lite effektiv dersom konkurrentene fortsetter å løpe fra dem. Det trengs i stedet en felles, verifiserbar mekanisme med deltakelse fra alle de store aktørene . Anthropic-sjef Dario Amodei har tidligere antydet på Reddit at rekursiv selvforbedring kan være mulig innen seks til tolv måneder .
OpenAI anslår at AI-systemer innen mars 2028 kan utføre en betydelig del av sin egen forskning parallelt med menneskelige forskere . Det peker mot den samme bekymringen Anthropic løfter frem: AI-kapasiteten kan øke raskere enn myndigheter, sikkerhetsmiljøer og internasjonale avtaler klarer å reagere.
Forslaget ble presentert som «demokratisk styring». Ifølge OpenAI bør det være demokratiske myndigheter, ikke private selskaper, som fastsetter reglene for de kraftigste AI-systemene .
I en separat plan publisert 4. juni foreslo selskapet blant annet et nasjonalt amerikansk regelverk basert på delstatenes sikkerhetslover, en styrking av Center for AI Standards and Innovation (CAISI) som føderalt hovedorgan for sikkerhet rundt avansert AI, og en bredere plan for å håndtere utfordringer knyttet til nasjonal sikkerhet og offentlig trygghet .
OpenAIs internasjonale utspill kom mindre enn en uke etter Anthropics rapport. Samlet ga de to meldingene internasjonale regulatorer et uvanlig tydelig utgangspunkt for å kreve en større rolle i AI-styringen .
Timing er avgjørende. Mens selskapene ber om mulighet til å bremse AI-utviklingen utenfra, forbereder de seg på noen av de største børsnoteringene teknologimarkedet har sett.
SpaceX leverte på sin side en konfidensiell søknad om børsnotering i april. Dermed begynte finansanalytikere å omtale situasjonen som et «AI-børskappløp på tre billioner dollar» .
Her ligger den strukturelle spenningen i AI-politikken: De ledende laboratoriene sier at utviklingen må kunne bremses av en ekstern myndighet, samtidig som de må vise investorer en kommersiell vekstkraft som kan forsvare verdsettelser i billionklassen.
Anthropics forslag erkjenner direkte problemet med kollektiv handling. Det vil være kommersielt irrasjonelt for ett selskap å bremse alene dersom konkurrentene fortsetter å utvikle raskere . OpenAIs virksomhet viser den andre siden av samme dilemma: Selskapet utvider bedriftsrettede AI-tjenester, utvikler ordninger for kontrollert tilgang til modeller med avanserte cyberfunksjoner og forbereder seg på børsen .
Rekursiv selvforbedring beskriver en mulig utviklingssløyfe der et AI-system selv forbedrer kode, arkitektur eller treningsmetoder, og hver versjon lager en enda mer kapabel etterfølger. Dette er ikke en realitet i dag, men Anthropic mener utviklingen går i den retningen .
Hvis systemene på egen hånd kan bygge etterfølgere, kan dagens metoder for sikring, overvåking og kontroll bli mindre pålitelige . Det er dette som får Anthropic til å koble selvforbedring direkte til risikoen for at mennesker mister kontrollen.
OpenAI har på sin side pekt mot at systemer innen få år kan utføre en betydelig del av sin egen forskning . Selskapets forslag handler derfor om å gi samfunnet mulighet til å bremse utviklingen slik at motstandsdyktighet, sikkerhet og tilpasning kan holde tritt .
Den andre bekymringen er institusjonell. Regjeringer, tilsyn og internasjonale avtaler arbeider normalt langt langsommere enn AI-modeller blir bedre . Dersom AI-systemene begynner å forbedre seg selv før regelverk og kontrollmekanismer er på plass, kan det bli vanskelig å etablere meningsfullt tilsyn i etterkant.
I USA er enkelte mulige tiltak allerede under diskusjon. Det hvite hus skal ifølge rapporter ha vurdert en ordning der Anthropic, Google og OpenAI må sende alle nye, avanserte modeller til et føderalt kontrollorgan før lansering – omtrent som en godkjenningsprosess for legemidler .
Disse avtalene innebærer likevel ikke nødvendigvis at myndighetene kan stanse en modell fra å bli lansert. En føderal kontrollordning med større makt er fortsatt under vurdering . Det internasjonale organet OpenAI og Anthropic nå ber om, finnes ikke ennå.
Det er her den viktigste usikkerheten ligger.
Anthropics forslag er avhengig av koordinering. Selskapet har sagt at det trolig vil være bra for verden å ha mulighet til å bremse den globale AI-utviklingen, men at ordningen må være koordinert, etterprøvbar og støttet av de største laboratoriene . Det er fortsatt uklart om Anthropic ville akseptert en bindende beslutning som stoppet en egen treningsrunde eller utsatte lanseringen av en ny modell – særlig når selskapet samtidig forbereder seg på børsnotering og må overbevise investorer om fortsatt vekst.
OpenAIs forslag er mer konkret når det gjelder institusjoner, men er like lite utprøvd i praksis. Selskapet ønsker et globalt organ med myndighet til å bremse utviklingen . Samtidig satser OpenAI på kommersialisering, bedriftskunder, selektiv tilgang til avanserte cybermodeller og en børsnotering som kan bli blant de største i amerikansk teknologihistorie .
En bindende brems kan innebære tapte markedsandeler dersom konkurrenter ikke følger den. Den kan også kollidere med forventningene til fremtidige aksjonærer. Ingen av de tilgjengelige kildene viser at selskapene allerede har akseptert en ekstern myndighet som faktisk kan stoppe en treningsrunde eller blokkere en modell-lansering.
Samtidigheten i utspillene fra OpenAI og Anthropic er likevel betydningsfull. To av verdens mest verdifulle AI-selskaper sier nå offentlig at utviklingen kan måtte bremses, og at ekstern myndighet – ikke bare frivillig selvregulering – bør være en del av løsningen.
Det som gjenstår, er å se om dette blir til håndhevbare regler eller bare et nytt politisk lag over et stadig raskere kommersielt kappløp. Svaret vil i stor grad avhenge av to ting: om myndighetene tør å etablere reell internasjonal makt, og om AI-laboratoriene vil godta grensene når det faktisk står om deres egen vekst.
Børsuret tikker fortsatt.
Med rekursiv selvforbedring mener Anthropic et scenario der et AI-system selv kan utforme, bygge og trene en mer kapabel etterfølger – uten vesentlig menneskelig medvirkning .
Selskapet understreker at dette punktet ikke er nådd, og at utviklingen ikke nødvendigvis vil ende der. Samtidig advarer Anthropic om at terskelen kan nås tidligere enn mange institusjoner er forberedt på . Den grunnleggende bekymringen handler om tempo: Hvis AI-systemer kan forbedre seg raskere enn samfunnet rekker å forstå, regulere og kontrollere dem, kan mennesker miste grepet om utviklingen .
Anthropic har også offentliggjort et oppsiktsvekkende internt tall: 80 prosent av koden selskapet tar inn i sitt eget kodegrunnlag, er allerede skrevet av AI-systemet Claude . Tallet er ikke det samme som full rekursiv selvforbedring, men illustrerer hvor mye av utviklingsarbeidet som allerede støttes av AI.
Selskapets løsning er derfor ikke at ett laboratorium skal bremse alene. Anthropic mener en ensidig pause vil være lite effektiv dersom konkurrentene fortsetter å løpe fra dem. Det trengs i stedet en felles, verifiserbar mekanisme med deltakelse fra alle de store aktørene . Anthropic-sjef Dario Amodei har tidligere antydet på Reddit at rekursiv selvforbedring kan være mulig innen seks til tolv måneder .
OpenAI anslår at AI-systemer innen mars 2028 kan utføre en betydelig del av sin egen forskning parallelt med menneskelige forskere . Det peker mot den samme bekymringen Anthropic løfter frem: AI-kapasiteten kan øke raskere enn myndigheter, sikkerhetsmiljøer og internasjonale avtaler klarer å reagere.
Forslaget ble presentert som «demokratisk styring». Ifølge OpenAI bør det være demokratiske myndigheter, ikke private selskaper, som fastsetter reglene for de kraftigste AI-systemene .
I en separat plan publisert 4. juni foreslo selskapet blant annet et nasjonalt amerikansk regelverk basert på delstatenes sikkerhetslover, en styrking av Center for AI Standards and Innovation (CAISI) som føderalt hovedorgan for sikkerhet rundt avansert AI, og en bredere plan for å håndtere utfordringer knyttet til nasjonal sikkerhet og offentlig trygghet .
OpenAIs internasjonale utspill kom mindre enn en uke etter Anthropics rapport. Samlet ga de to meldingene internasjonale regulatorer et uvanlig tydelig utgangspunkt for å kreve en større rolle i AI-styringen .
Timing er avgjørende. Mens selskapene ber om mulighet til å bremse AI-utviklingen utenfra, forbereder de seg på noen av de største børsnoteringene teknologimarkedet har sett.
SpaceX leverte på sin side en konfidensiell søknad om børsnotering i april. Dermed begynte finansanalytikere å omtale situasjonen som et «AI-børskappløp på tre billioner dollar» .
Her ligger den strukturelle spenningen i AI-politikken: De ledende laboratoriene sier at utviklingen må kunne bremses av en ekstern myndighet, samtidig som de må vise investorer en kommersiell vekstkraft som kan forsvare verdsettelser i billionklassen.
Anthropics forslag erkjenner direkte problemet med kollektiv handling. Det vil være kommersielt irrasjonelt for ett selskap å bremse alene dersom konkurrentene fortsetter å utvikle raskere . OpenAIs virksomhet viser den andre siden av samme dilemma: Selskapet utvider bedriftsrettede AI-tjenester, utvikler ordninger for kontrollert tilgang til modeller med avanserte cyberfunksjoner og forbereder seg på børsen .
Rekursiv selvforbedring beskriver en mulig utviklingssløyfe der et AI-system selv forbedrer kode, arkitektur eller treningsmetoder, og hver versjon lager en enda mer kapabel etterfølger. Dette er ikke en realitet i dag, men Anthropic mener utviklingen går i den retningen .
Hvis systemene på egen hånd kan bygge etterfølgere, kan dagens metoder for sikring, overvåking og kontroll bli mindre pålitelige . Det er dette som får Anthropic til å koble selvforbedring direkte til risikoen for at mennesker mister kontrollen.
OpenAI har på sin side pekt mot at systemer innen få år kan utføre en betydelig del av sin egen forskning . Selskapets forslag handler derfor om å gi samfunnet mulighet til å bremse utviklingen slik at motstandsdyktighet, sikkerhet og tilpasning kan holde tritt .
Den andre bekymringen er institusjonell. Regjeringer, tilsyn og internasjonale avtaler arbeider normalt langt langsommere enn AI-modeller blir bedre . Dersom AI-systemene begynner å forbedre seg selv før regelverk og kontrollmekanismer er på plass, kan det bli vanskelig å etablere meningsfullt tilsyn i etterkant.
I USA er enkelte mulige tiltak allerede under diskusjon. Det hvite hus skal ifølge rapporter ha vurdert en ordning der Anthropic, Google og OpenAI må sende alle nye, avanserte modeller til et føderalt kontrollorgan før lansering – omtrent som en godkjenningsprosess for legemidler .
Disse avtalene innebærer likevel ikke nødvendigvis at myndighetene kan stanse en modell fra å bli lansert. En føderal kontrollordning med større makt er fortsatt under vurdering . Det internasjonale organet OpenAI og Anthropic nå ber om, finnes ikke ennå.
Det er her den viktigste usikkerheten ligger.
Anthropics forslag er avhengig av koordinering. Selskapet har sagt at det trolig vil være bra for verden å ha mulighet til å bremse den globale AI-utviklingen, men at ordningen må være koordinert, etterprøvbar og støttet av de største laboratoriene . Det er fortsatt uklart om Anthropic ville akseptert en bindende beslutning som stoppet en egen treningsrunde eller utsatte lanseringen av en ny modell – særlig når selskapet samtidig forbereder seg på børsnotering og må overbevise investorer om fortsatt vekst.
OpenAIs forslag er mer konkret når det gjelder institusjoner, men er like lite utprøvd i praksis. Selskapet ønsker et globalt organ med myndighet til å bremse utviklingen . Samtidig satser OpenAI på kommersialisering, bedriftskunder, selektiv tilgang til avanserte cybermodeller og en børsnotering som kan bli blant de største i amerikansk teknologihistorie .
En bindende brems kan innebære tapte markedsandeler dersom konkurrenter ikke følger den. Den kan også kollidere med forventningene til fremtidige aksjonærer. Ingen av de tilgjengelige kildene viser at selskapene allerede har akseptert en ekstern myndighet som faktisk kan stoppe en treningsrunde eller blokkere en modell-lansering.
Samtidigheten i utspillene fra OpenAI og Anthropic er likevel betydningsfull. To av verdens mest verdifulle AI-selskaper sier nå offentlig at utviklingen kan måtte bremses, og at ekstern myndighet – ikke bare frivillig selvregulering – bør være en del av løsningen.
Det som gjenstår, er å se om dette blir til håndhevbare regler eller bare et nytt politisk lag over et stadig raskere kommersielt kappløp. Svaret vil i stor grad avhenge av to ting: om myndighetene tør å etablere reell internasjonal makt, og om AI-laboratoriene vil godta grensene når det faktisk står om deres egen vekst.
Børsuret tikker fortsatt.