När AI hjälper till att bygga nästa AI vill forskare se mer tillsyn

Det forskarna vill att beslutsfattare ska hålla ögonen på är inte bara hur kraftfulla AI-modeller blir. Frågan är också hur mycket AI används för att utveckla nästa generation AI – och om det kan göra att utvecklingen går allt snabbare. Forskare och ledare från OpenAI, Anthropic, Meta och Microsoft vill att politiker granskar hur långt automatiseringen av AI-forskning har kommit, innan förändringstakten gör effektiv tillsyn svårare. 23

Ett sådant möjligt förlopp kallas ibland en ”intelligensexplosion”. Det är ett riskscenario, inte ett belägg för att AI redan förbättrar sig själv utan mänsklig styrning. Den centrala frågan för politiken är hur AI:s växande roll i AI-forskningen ska mätas och regleras. 114

Så skulle AI-assisterad forskning kunna skynda på utvecklingen

AI kan bidra till arbetet med att utveckla framtida modeller. Om de bidragen hjälper forskare att ta fram mer kapabla system, och de systemen sedan kan utföra en större del av forskningsarbetet, kan varje varv i kedjan potentiellt påskynda nästa. Det är detta som kallas rekursiv självförbättring: AI-system hjälper till att förbättra processen som används för att bygga AI-system. 15

Varningen gäller framför allt tempot. I ett scenario som beskrivs i rapporteringen om forskarnas underlag skulle framsteg som annars kunde ta ett år kunna ske på några veckor. Det är en prognos, inte ett uppmätt resultat; källorna visar inte att utvecklingen redan håller den takten. 314

En tidigare intervjustudie med 25 forskare från ledande AI-laboratorier och akademin visade att många förväntade sig att AI skulle kunna automatisera AI-forskning och skapa en positiv återkopplingsloop. Det hjälper till att förklara varför möjligheten tas på allvar i branschen, men visar inte att en intelligensexplosion är oundviklig. 1

Vad forskarna vill att beslutsfattarna granskar

Den omedelbara uppmaningen är att skapa bättre insyn i hur omfattande företagens användning av AI i forskning och utveckling är. Fler än 20 AI-ledare och forskare har uppmanat beslutsfattare att granska utvecklingen och överväga skyddsåtgärder. 2

Det är en viktig skillnad: uppmaningen är inte ett bevis för att AI-laboratorier redan har lämnat över kontrollen över forskningen till AI. Bättre information om var och hur AI används kan hjälpa politiker att bedöma om dagens tillsyn räcker när systemen får en större roll i utvecklingsarbetet. 23

Varför vissa vill bromsa utvecklingen

En samordnad inbromsning skulle kunna ge mer tid för säkerhetstester, oberoende granskningar och starkare tillsyn innan förmågorna förändras igen. Forskare vid OpenAI och Anthropic har offentligt efterlyst en långsammare utveckling, medan andra branschledare har förespråkat en mer marknadsstyrd väg. Oenigheten visar att branschen inte är enig om hur mycket utvecklingen bör bromsas – eller vad en genomförbar paus skulle innebära. 818

Det finns också praktiska frågor: vilka system eller aktiviteter skulle omfattas, vem skulle kontrollera att reglerna följs och hur skulle en inbromsning samordnas mellan konkurrerande företag? Rapporteringen konstaterar att det fortfarande är oklart både vad en paus skulle innebära och hur den skulle kunna upprätthållas.

Kan ett nödstopp stänga av AI?

Microsofts vd och styrelseordförande Brad Smith har sagt att de som utvecklar AI-modeller, leverantörer av molninfrastruktur och de som ansvarar för AI-agenter bör kunna stänga av systemen. Förslaget beskriver en möjlig nödbroms – inte en ersättning för förebyggande arbete eller löpande övervakning.

Ett nödstopp har också begränsningar. AI-system kan köras på distribuerad infrastruktur, så en enda avstängningsknapp kan inte garantera att varje del stoppas. Experter har därför också pekat på behovet av övervakning och mänskliga ingripanden.

Säkerhetsansvar och affärsintressen möts

Att utvecklare och molnleverantörer föreslås få en roll i styrningen väcker en viktig fråga: företag kan samtidigt bidra till tillsynen och bygga eller driva systemen. Microsoft deltar i utvecklingen av AI-modeller och är, vilket Smiths uttalande visar, också en molnleverantör. Den överlappningen gör oberoende kontroller och tydliga regler viktiga, men visar inte i sig att något företags säkerhetslinje är oärlig. 2

Det finns även en bredare samordningsutmaning. Branschledare är oense om utvecklingstakten, samtidigt som diskussionen om att sakta ned förs i en miljö där konkurrensen om att bygga och lansera AI är stark. Det kan bli svårt för ett företag att hålla igen frivilligt om andra fortsätter i högt tempo. Källorna visar på oenighet och konkurrenstryck, men bevisar inte att investeringsintressen styr enskilda forskares uppfattningar. 1218

För beslutsfattare handlar det därför om två närliggande frågor: hur de ska följa AI:s roll i utvecklingen av AI – och hur skyddsåtgärder kan göras verifierbara, i stället för att enbart bygga på företagens egna försäkringar. Varningarna motiverar att frågorna utreds nu. Däremot avgör de inte hur sannolik en intelligensexplosion är eller vilken politisk åtgärd som skulle fungera bäst. 123