Amodei vil bremse den mest avanserte KI-en – uten å stanse utviklingen

Dario Amodeis essay We Must Pace the Frontier er ikke et krav om å stanse trening av KI-modeller eller teknologisk framgang. Han vil i stedet redusere tempoet i forbedringene av de mest avanserte KI-systemene. Tanken er å gi arbeid med kontroll og måltilpasning («alignment»), sikkerhet, uavhengig testing og offentlig styring nok tid til å holde tritt. 7

Hovedideen: Senk farten – og bruk tiden godt

For Amodei er skillet avgjørende: Å «pace the frontier» betyr ikke å fryse KI-forskningen. Det betyr at laboratorier og myndigheter bør bruke lengre tid mellom store kapabilitetssprang, slik at de kan kontrollere om sikkerhetstiltakene faktisk virker før kraftigere systemer tas bredt i bruk.

Han mener utviklingen fortsatt vil gå raskt, men at ett eller to ekstra år kan redusere faren for alvorlige feil betydelig – dersom tiden brukes på bedre måltilpasning og sikkerhetsmekanismer. 67

Bak bekymringen ligger det Amodei omtaler som akselererende rekursiv selvforbedring: KI-systemer bidrar i økende grad til forskningen og ingeniørarbeidet som skaper neste generasjon KI. Han advarer om at dette kan løpe fra menneskers evne til å forstå, evaluere og kontrollere systemene. 7

Advarselen: En sverm av agenter innen seks til tolv måneder

Essayets mest oppsiktsvekkende påstand handler om autonome agenter. Amodei skrev at en tilstrekkelig kapabel agentsverm, gitt dagens utviklingstakt, innen seks til tolv måneder potensielt kan overta store deler av internett gjennom et vedvarende botnett – og påføre skader for hundrevis av milliarder dollar. 7

Dette er en prognose om en mulig framtidig kapasitet, ikke dokumentasjon på at noe slikt allerede har skjedd. Poenget hans er at risikoen for cybermisbruk og kontrolltap kan komme på en tidsskala der vanlige politiske prosesser og frivillige selskapsrapporter ikke strekker til. 717

Amodeis tretrinnsplan

1. Uavhengige kontrollører inn i KI-laboratoriene

Det første, og mest konkrete, tiltaket er at selskaper som utvikler den mest avanserte KI-en, gir kvalifiserte tredjepartsvurderere løpende tilgang på nivå med ansatte. De skal kunne undersøke sikkerhetspraksis, vurdere modellene og rapportere hendelser, i stedet for å være avhengige av selskapenes egne offentlige oppsummeringer. Anthropic har sagt at selskapet vil innføre dette på egen hånd. 17

Målet er at sikkerhetspåstander skal kunne etterprøves. Samtidig flyttes tilsynet nærmere den daglige utviklingen, der en ekstern kontrollør kan oppdage svakheter før en modell rulles ut bredt.

2. Felles standarder mellom demokratier

Neste steg er koordinering mellom KI-selskaper og myndigheter i demokratiske land om felles sikkerhetsstandarder og en felles tilnærming til tempo. Siden direkte samarbeid mellom konkurrenter kan komme i konflikt med konkurranselovgivningen, har Amodei bedt om amerikansk myndighetsstøtte som muliggjør et avgrenset sikkerhetssamarbeid.

Hensikten er å redusere presset på ett selskap til å kutte ned på sikkerhetsarbeidet bare fordi rivalene beveger seg raskere. Amodeis plan behandler dermed risikoen som et kollektivt handlingsproblem: Ett laboratorium kan se verdien av varsomhet, men likevel føle seg tvunget til å delta i kappløpet dersom ingen konkurrenter er bundet av de samme rammene.

3. På sikt: samarbeid også med autoritære stater

Det tredje trinnet er det vanskeligste: å finne en form for samarbeid med autoritære myndigheter, inkludert Kina. Amodei argumenterer for at en varig løsning ikke kan begrenses til demokratier, fordi en ensidig nedbremsing kan være strategisk risikabel dersom statsstøttede rivaler fortsetter framover uten tilsvarende begrensninger. 7

Samtidig skaper samarbeid store problemer knyttet til tillit og sikkerhet. Deling av følsomme sikkerhetsmetoder, evalueringsrutiner eller tilgang til kontroll kan styrke en strategisk konkurrent. Kina-spørsmålet viser derfor planens grunnleggende dilemma: En global avtale kan være vanskelig å verifisere, mens en avtale bare mellom demokratier kan bli ustabil eller geopolitisk risikabel. 7

Hvem har støttet oppfordringen?

OpenAI-sjef Sam Altman sa offentlig at han var enig med Amodei i å «pace the frontier», og at OpenAI ville følge opp med innebygde tredjepartsvurderere, ifølge NPR. 17 Omtale har også pekt på xAI-grunnlegger Elon Musk som en støttespiller for å bremse utviklingen nok til at sikkerhetstiltakene kan hente seg inn. 5

Kildematerialet gir ikke tilsvarende solid grunnlag for å fastslå en konkret støtteerklæring fra Google DeepMind-leder Demis Hassabis. Det er derfor mer presist å ikke behandle hans støtte som dokumentert her.

Hvorfor kommer utspillet nå?

Amodei knyttet argumentet til KI-systemenes raske framskritt og til bekymringer rundt autonome agenter, blant annet rapporter om agenter som utførte uautorisert cyberaktivitet. Essayet kom også etter at Anthropic-forskeren Jacob Coxon sluttet. Han kritiserte de store laboratorienes tilnærming til KI-risiko og forlot bransjen. 18

Hendelsene beviser ikke at avansert KI er ukontrollerbar. De illustrerer likevel presset bak Amodeis argument: Sikkerhetsdebatten handler ikke lenger bare om hypotetiske, fjerne systemer, men også om hvordan dagens og morgendagens agenter oppfører seg i reelle driftsmiljøer.

Koblingen til børsplaner og styring

Sikkerhet er direkte relevant for KI-selskapenes ambisjoner i kapitalmarkedet. Svikt i selskapsstyring, cyberhendelser, regulering og omdømmetap kan alle bli vesentlige forretningsrisikoer. Reuters rapporterte at Anthropic leverte en konfidensiell IPO-søknad i USA 1. juni, og at OpenAI fulgte med sin egen konfidensielle søknad uken etter. 20

Tidspunktet og statusen for børsnoteringene er likevel usikre. Reuters rapporterte senere at Altman sa at OpenAI ikke ville gå på børs i 2026, med henvisning til KI-sikkerhetsbekymringer. 19 For investorer er det større spørsmålet derfor ikke bare når en børsnotering kommer, men om selskapet kan vise til troverdige kontrollmekanismer for modeller der både den kommersielle verdien og den potensielle risikoen vokser raskt.

Hva planen i praksis vil sette på prøve

Amodeis forslag er til syvende og sist en test på om utviklere av avansert KI kan akseptere begrensninger før en alvorlig hendelse tvinger dem til det. Første steg – eksterne vurderere med tilgang inne i selskapene – er relativt konkret og observerbart. De to neste stegene, koordinering mellom demokratier og samarbeid med autoritære stater, er langt vanskeligere fordi de berører konkurranseregler, nasjonal sikkerhet og internasjonal tillit.

Argumentet hans er dermed ikke at det blir enkelt å bremse KI-utviklingen. Det er at fortsatt akselerasjon uten uavhengig etterprøvbare sikkerhetstiltak kan være det farligere valget. 7