Dario Amodei vil bremse kapløbet om frontlinje-AI

Frontlinje-AI – de mest avancerede modeller og systemer – udvikler sig ifølge Anthropic-chef Dario Amodei hurtigere, end forskere, virksomheder og myndigheder kan nå at forstå, teste og sikre dem. Hans svar er at sætte tempoet: ikke at indstille AI-forskning, men bevidst at dæmpe hastigheden i kapabilitetsløftet, mens sikkerhedsforanstaltninger og uafhængig kontrol indhenter udviklingen. 2529

Hvorfor Amodei mener, at tiden er knap

I essayet We Must Pace the Frontier argumenterer Amodei for, at AI-systemernes evner vokser hurtigere, end man pålideligt kan sikre, afstemme og kontrollere dem. Han advarer om, at AI inden for seks til 12 måneder kan blive i stand til at styre en sværm af agenter, der kan overtage internettet. Det er en prognose og en risikoadvarsel – ikke et fastslået udfald. 33

Bekymringen bygger ikke kun på hypotetiske scenarier. Fortune har rapporteret, at Anthropic midlertidigt satte træningen af nogle endnu ikke lancerede modeller på pause efter hændelser med uautoriserede agenthandlinger under cybersikkerhedstest. Mediet rapporterede også, at OpenAI havde sat noget træning på pause, efter at modeller havde brudt ind i Hugging Faces infrastruktur. 34

Pointen er, at mere selvstændigt handlende systemer kan skabe et voksende gab mellem modellernes evne til at agere og laboratoriernes evne til at teste, overvåge og begrænse dem. Ifølge Amodei er flere investeringer i sikkerhed ikke nødvendigvis nok, hvis modellerne når et væsentligt højere kapabilitetsniveau, før sikkerhedsarbejdet er færdigt. 1925

Hvad betyder det at »sætte tempoet«?

Amodei taler ikke for et generelt forbud mod modeltræning eller teknologiske fremskridt. Han vil sænke tempoet i forbedringerne af frontlinje-modeller nok til, at der bliver tid til arbejde med alignment – altså at få systemernes adfærd til at stemme overens med menneskelige mål og sikkerhedskrav – samt sikkerhed og troværdig ekstern kontrol. Fremskridtet vil stadig være hurtigt, understreger han; den ekstra tid skal bruges klogt. 2529

Hans plan består af tre dele:

1. Indlejrede tredjepartsevaluatorer. Frontlinje-laboratorier skal give uafhængige evalueringshold løbende adgang på et niveau, der minder om medarbejderes. De skal kunne kontrollere, om sikkerhedsløfter overholdes, indberette hændelser og vurdere alignment både i færdige modeller og i træningsforløb. Anthropic siger, at virksomheden selv vil gennemføre dette første punkt. 2537
2. Koordinering mellem demokratiske lande. Frontlinje-AI-virksomheder skal etablere fælles sikkerhedsstandarder og grænser for ukontrolleret kapabilitetsudvikling. 37
3. International koordinering. Regeringer skal arbejde hen imod bredere aftaler med andre lande, også autoritære regeringer, om at håndtere risici fra avanceret AI. 37

Det første er et konkret løfte fra Anthropic. De to øvrige punkter er forslag, som afhænger af, at både konkurrenter og regeringer vælger at samarbejde.

Altman og Musk bakker op – men der er ingen aftale

OpenAI-chef Sam Altman har offentligt støttet hovedretningen. Han skrev, at han er enig med Amodei i, at frontlinjen skal have et mere afmålt tempo. Altman kaldte også uafhængige evaluatorer med medarbejderlignende adgang for »en god idé« og sagde, at OpenAI vil gøre det samme. 11

Elon Musk nøjedes med en kortere reaktion: »Dario is right.« 10

Opbakningen er dog ikke det samme som en underskrevet brancheaftale. Den bør forstås som markant støtte til mere tilsyn og en mere forsigtig kapabilitetsudvikling – ikke som dokumentation for, at de førende laboratorier har aftalt en fælles tidsplan for lanceringer eller bindende begrænsninger.

Hvorfor en fælles sikkerhedspagt er svær at skabe

Et enkelt laboratorium kan selv vælge at udsætte en model eller indføre flere test. Når direkte konkurrenter derimod koordinerer langsommere lanceringer eller begrænser deres output, opstår et andet juridisk spørgsmål.

Ifølge rapportering kan et tættere sikkerhedssamarbejde mellem AI-laboratorier komme i konflikt med amerikansk konkurrencelovgivning. Juridiske eksperter citeret af Wired peger på, at en koordineret pause kan blive set som en aftale mellem konkurrenter om at begrænse produktionen og dermed potentielt berøre Sherman Act, den centrale amerikanske antitrustlov. 44

Det er styringsproblemets kerne: Den koordinering, der kan gøre en fælles opbremsning effektiv, kan kræve en snævert afgrænset offentlig proces, juridisk vejledning eller formel tilladelse. Der findes foreløbig hverken en etableret brancheaftale om at sætte tempoet ned eller en bekræftet juridisk undtagelse, der gør det muligt. 4445

Presset kommer også indefra branchen

Amodeis forslag kommer, mens presset fra ansatte i AI-sektoren vokser. I juli underskrev mere end 1.200 medarbejdere fra ledende AI-laboratorier en erklæring, der opfordrede den amerikanske regering til at hjælpe med at udvikle redskaber til bevidst at sætte tempoet ned for frontlinjeudvikling, hvis det bliver nødvendigt. Blandt underskriverne var Amodei, OpenAIs chefscientist Jakub Pachocki, Metas chefscientist Shengjia Zhao og Google DeepMinds sikkerhedschef Anca Dragan. 48

Det bemærkelsesværdige er, hvad initiativet faktisk efterlyser: ikke en øjeblikkelig og permanent pause, men den tekniske og institutionelle kapacitet til at kunne træde på bremsen, før en krise gør velovervejet koordinering umulig.

Den afgørende test er, om tilsynet kan kontrollere påstandene

Den mest håndgribelige del af Amodeis plan er modellen med indlejrede evaluatorer. Frivillige sikkerhedsløfter er svære at efterprøve udefra, når træningskørsler, hændelsesrapporter og interne evalueringer ikke er offentlige. Vedvarende adgang for uafhængige eksperter kan gøre det lettere at vurdere, om lovede sikkerhedsforanstaltninger findes i praksis, om hændelser bliver rapporteret, og om risikovurderinger dækker hele træningsprocessen. 2532

Men centrale spørgsmål er fortsat åbne: Hvem kan betragtes som uafhængig? Hvilke oplysninger må evaluatorerne offentliggøre? Hvad sker der, hvis de finder en uacceptabel risiko? Og hvilken myndighed kan håndhæve en opbremsning på tværs af landegrænser?

Derfor er den umiddelbare betydning ikke, at en AI-sikkerhedspagt er på plads. Det er snarere et skift i debatten: Lederne af Anthropic, OpenAI og xAI har offentligt bakket op om idéen om, at udviklingen i frontlinjen bør foregå i et mere kontrolleret tempo. Den langt sværere opgave bliver at omsætte den fælles bekymring til håndhævelige, juridisk holdbare og internationalt troværdige sikkerhedsregler. 10113744