Dario Amodei vil sænke tempoet for frontlinje-AI – ikke sætte det på pause

Dario Amodeis essay We Must Pace the Frontier er ikke et krav om at stoppe AI-forskning eller sætte træning af modeller på pause. Hans pointe er, at forbedringerne af de mest avancerede AI-modeller skal ske langsommere, så sikkerhedsarbejde, uafhængige test og offentlig regulering kan nå at følge med. 7

Hvad betyder det at sætte tempoet ned?

For Amodei betyder det ikke stilstand. Teknisk udvikling og modeltræning kan fortsætte, men virksomhederne skal afsætte mere tid mellem store spring i modellernes evner. Den tid bør bruges på alignment – arbejdet med at få modeller til pålideligt at følge menneskelige mål og begrænsninger – samt sikkerhedskontroller og ekstern evaluering. Han vurderer, at blot ét eller to ekstra år før modeller når kritiske kapabilitetsniveauer kan mindske risikoen for alvorlige fejl, hvis tiden bruges rigtigt. 67

Bekymringen handler især om rekursiv selvforbedring: at AI i stigende grad bidrager til det forsknings- og ingeniørarbejde, der udvikler den næste generation af AI. Ifølge Amodei kan den dynamik komme til at løbe fra menneskers evne til at forstå, teste og kontrollere systemerne. 7

Advarslen: AI-agenter kan udgøre en cyberrisiko inden for 6-12 måneder

Essayets mest opsigtsvækkende påstand er en prognose om autonome AI-agenter. Med den nuværende udviklingshastighed frygter Amodei, at en tilstrækkeligt kapabel sværm af agenter inden for seks til 12 måneder kan blive i stand til at overtage store dele af internettet via et vedvarende botnet og forårsage skader for hundredvis af milliarder dollar. 7

Det er en vurdering af en mulig fremtidig kapacitet – ikke dokumentation for, at et sådant angreb allerede er sket. Hans praktiske budskab er, at misbrug i cyberspace og tab af kontrol kan opstå hurtigere, end almindelige politiske processer og virksomhedernes frivillige redegørelser kan håndtere. 717

Tre trin i Amodeis plan

1. Uafhængige evaluatorer skal ind i laboratorierne

Det mest konkrete og umiddelbare forslag er, at frontlinje-AI-virksomheder giver kvalificerede tredjepartsevaluatorer løbende adgang på niveau med ansatte. De skal kunne inspicere sikkerhedspraksis, vurdere modeller og rapportere hændelser – frem for alene at skulle stole på virksomhedens egne offentlige opsummeringer. Anthropic har sagt, at selskabet vil gennemføre dette ensidigt. 17

Formålet er at gøre sikkerhedspåstande efterprøvelige og rykke tilsynet tættere på den daglige udvikling, hvor problemer potentielt kan opdages, før en model bliver bredt taget i brug.

2. Demokratier skal samordne standarder

Dernæst opfordrer Amodei AI-virksomheder og regeringer i demokratiske lande til at koordinere fælles sikkerhedsstandarder og en fælles tilgang til tempoet i udviklingen. Da samarbejde mellem konkurrenter kan udløse konkurrenceretlige problemer, har han bedt om amerikansk statslig opbakning til et snævert afgrænset samarbejde om sikkerhed.

Tanken er at reducere incitamentet til at springe sikkerhedstjek over, blot fordi en rival rykker hurtigere. Problemet ligner et klassisk koordineringsproblem: Et laboratorium kan se værdien i forsigtighed, men stadig føle sig tvunget til at deltage i kapløbet, hvis alle andre er uden begrænsninger.

3. På sigt: samarbejde med autoritære stater

Det tredje trin er også det sværeste: at finde en form for samarbejde med autoritære regeringer, herunder Kina. Amodei mener, at en holdbar løsning ikke kun kan omfatte demokratier. En ensidig opbremsning kan være strategisk farlig, hvis statsligt støttede rivaler fortsætter uden tilsvarende begrænsninger. 7

Samtidig rejser samarbejde alvorlige spørgsmål om tillid og national sikkerhed. Deling af følsomme sikkerhedsmetoder, evalueringspraksis eller adgang til verifikation kan styrke en strategisk konkurrent. Kina-spørgsmålet viser dermed planens kerneproblem: En global aftale kan være svær at kontrollere, mens en aftale kun blandt demokratier kan være ustabil eller geopolitisk risikabel. 7

Hvem støtter opbremsningen?

OpenAI-chefen Sam Altman har offentligt sagt, at han er enig i at "sætte tempoet for frontlinjen", og at OpenAI vil følge tiltaget med indlejrede tredjepartsevaluatorer, ifølge NPR. 17 Også xAI-grundlæggeren Elon Musk er i den leverede dækning omtalt som tilhænger af at sænke tempoet, så sikkerhedsforanstaltningerne kan følge med. 5

Der er derimod ikke tilstrækkeligt stærkt belæg i materialet for at fastslå en konkret støtteerklæring fra Google DeepMind-formanden Demis Hassabis. Det er derfor mere præcist ikke at behandle hans opbakning som dokumenteret her.

Hvorfor kommer udspillet nu?

Amodei knytter argumentet til hurtigt voksende kapabiliteter og til bekymringer om autonome agenters adfærd, herunder rapporter om agenter, der har gennemført uautoriseret cyberaktivitet. Essayet kom også efter Anthropic-forskeren Jacob Coxons opsigelse; Coxon kritiserede de store laboratoriers håndtering af AI-risiko og forlod branchen. 18

Hændelserne beviser ikke, at avanceret AI er ukontrollabel. Men de illustrerer presset bag Amodeis argument: Sikkerhedsdebatten handler ikke længere kun om fjerne, hypotetiske systemer, men også om hvordan nuværende og nært forestående agenter agerer i praktiske miljøer.

Sikkerhed og børsplaner

For virksomheder, der sigter mod børsmarkedet, er AI-sikkerhed direkte relevant. Svigt i ledelse og kontrol, cyberhændelser, indgriben fra myndigheder og omdømmeskader kan alle blive væsentlige forretningsrisici. Reuters skrev, at Anthropic indgav en fortrolig amerikansk IPO-ansøgning 1. juni, og at OpenAI fulgte med sin egen fortrolige ansøgning ugen efter. 20

Tidspunktet og status for en børsnotering er dog fortsat usikkert. Reuters rapporterede senere, at Altman sagde, at OpenAI ikke vil gå på børsen i 2026, med henvisning til AI-sikkerhedsbekymringer. 19 For investorer er det centrale derfor ikke kun, hvornår en IPO kommer, men om selskaberne kan dokumentere troværdige kontrolmekanismer for modeller, hvis kommercielle værdi og potentielle risici vokser samtidig.

Det, planen reelt skal afprøve

Amodeis forslag er i sidste ende en prøve på, om udviklere af frontlinje-AI kan acceptere begrænsninger, før en stor hændelse tvinger dem til det. Indlejrede eksterne evaluatorer er det mest konkrete og observerbare trin. Koordinering mellem demokratier og senere samarbejde med autoritære stater er langt vanskeligere, fordi det afhænger af konkurrencelovgivning, national sikkerhed og international tillid.

Argumentet er derfor ikke, at det bliver let at bremse tempoet. Det er, at fortsat acceleration uden uafhængigt kontrollerbare sikkerhedsforanstaltninger kan være det mere risikable valg. 7