AI-säkerhetsforskare pressas till bristningsgränsen – och vill bromsa kapplöpningen

Arbetet med säkerhet för avancerad AI skapar en ovanlig form av press. De som granskar modellerna kan bedöma att de innebär allvarliga risker, men samtidigt sakna befogenhet att fördröja en lansering eller kräva åtgärder.

Enligt rapporter har flera anställda vid Storbritanniens AI Safety Institute (AISI) tagit sjukledighet eller sökt samtalsstöd. Korta tidsramar för tester, låg moral och oro över snabb produktlansering nämns som bidragande faktorer. 2 Det betyder inte att ohälsa är allmän bland institutets personal eller på bolag som Anthropic, OpenAI och Google DeepMind. Men rapporterna är en varningssignal om den mänskliga belastningen i en teknikkapplöpning med mycket höga insatser.

När ansvar inte följs av befogenheter

Säkerhetsforskare bedömer inte en avlägsen, rent hypotetisk teknik. De testar system som kan vara på väg ut till användare. Där kan en konflikt uppstå mellan yrkesansvar och organisationens utvecklingstempo: att upptäcka en sårbarhet är inte samma sak som att kunna stoppa en lansering.

Rapporteringen om AISI fokuserar på kortare granskningsperioder för ännu ej släppta system och på en upplevelse av att kommersiell utrullning och kapacitetsutveckling går fort. 2 När konsekvenserna av ett misstag upplevs som stora, arbetstempot är högt och möjligheterna till självständig intervention är oklara, kan stressen förstärkas av en känsla av personligt ansvar för problem som en enskild granskare inte kan lösa.

Detta bör främst förstås som ett institutionellt problem – inte som ett bevis på att enskilda medarbetare överreagerar eller att en katastrof är säker.

Riskerna: från cybermissbruk till svagare kontroll

Oro gäller både relativt närliggande former av missbruk och mer spekulativa scenarier om långsiktig förlust av kontroll.

Cyber- och biologiskt missbruk

En kraftfull AI-modell kan sänka tröskeln i form av kompetens, tid eller kostnad för skadliga handlingar. Jacob Coxon, tidigare forskare på Anthropic och OpenAI, har pekat på AI-stödda biologiska hot och cybervapen som tänkbara vägar till allvarlig skada. 15

Det är inte samma sak som att en specifik modell redan har orsakat en sådan händelse. Det förklarar däremot varför säkerhetsteam betonar tester, åtkomstkontroller och övervakning innan modeller med starkare resonemangsförmåga eller mer självständigt agerande får bred spridning.

När utvecklingen kan springa ifrån tillsynen

En annan farhåga är att AI tar över allt större delar av forskning och ingenjörsarbete, och därmed snabbar upp själva utvecklingscykeln. En rapport från Georgetown CSET beskriver ett möjligt riskscenario där starkt automatiserad AI-forskning och AI-utveckling accelererar kapacitetsutvecklingen och gör systemen svårare för människor att förstå och kontrollera. Det är ett scenario, inte ett fastslaget utfall. 48

Dagens belägg sätter också en viktig gräns. En studie visade att AI-agenter kunde utföra omfattande forskningsingenjörsarbete utan mänsklig hjälp, men inte göra meningsfulla framsteg med de öppna forskningsfrågor som prövades. 49 Fullständig rekursiv självförbättring är alltså inte belagd. Oron gäller i stället riktning och hastighet: även delvis automatisering kan krympa tiden för utvärdering, styrning och korrigering.

Därför fick Jacob Coxons avhopp genomslag

Coxons offentliga uppsägning gav mänskligt ansikte åt oro som ofta stannar internt. Efter arbete med förträningsforskning på OpenAI och Anthropic sade han att han ansåg att bolagen tävlade mot självförbättrande superintelligens utan att agera ansvarsfullt. Han sade också till BBC att personer som arbetar med tekniken är ”genuint rädda” för utvecklingstakten och dess möjliga följder. 1

En uppsägning bekräftar inte varje prognos som den avgående personen gör. Den synliggör däremot ett svårt val för anställda: är det bäst att stanna kvar och försöka stärka skydden inifrån, eller att lämna och tala offentligt när interna kanaler upplevs som otillräckliga?

Varför ett enskilt labb har svårt att bromsa

Kärnproblemet är kollektivt handlande. Ett labb som på egen hand saktar ned utvecklingen kan frukta att hamna efter konkurrenterna. Samtidigt kan dess anställda få ännu mindre inflytande över en kapplöpning som omfattar hela branschen.

Stanford HAI:s diskussion om huruvida AI bör bromsas landade i att en bred inbromsning av kapacitetsutvecklingen vore svår att genomföra. Paneldeltagarna betonade ändå oberoende utvärderingar av myndigheter eller kvalificerade tredje parter, samt större satsningar på säkerhet, cybersäkerhet och övervakning. 18

Det är mer konkret än att lägga hela ansvaret på enskilda forskare. Frågan blir i stället gemensamma spelregler: Vem utför testerna? Vad händer när en riskgräns passeras? Och vem kan verifiera att reglerna följs?

Är industrins krav på inbromsning trovärdiga?

Anthropics Dario Amodei, OpenAI:s Sam Altman och Google DeepMinds Demis Hassabis har i varierande grad uttryckt stöd för att sakta ned eller ”takta” utvecklingen av avancerad AI. 32 Bland de idéer som har diskuterats finns externa granskare med fortlöpande tillgång till de ledande AI-labben. 36

Men ett offentligt åtagande är inte samma sak som en verkställbar begränsning. Kritiker påpekar att ett AI-stopp utformat av de dominerande bolagen kan befästa deras makt och missgynna mindre utmanare. 34 Båda sakerna kan vara sanna samtidigt: vissa företagsledare kan uppriktigt se säkerhetsrisker, medan etablerade bolag också kan gynnas av regler som är svåra för mindre aktörer att uppfylla.

Det mest användbara testet är därför inte att gissa motiv, utan att kontrollera vad som faktiskt går att verifiera. Ett seriöst säkerhetsåtagande skulle bland annat innebära:

• oberoende utvärderingar som inte enbart styrs av utvecklaren,
• tydliga riskgränser och konsekvenser när de överskrids,
• transparent incidentrapportering och robusta säkerhetsrutiner,
• verklig extern tillsyn, och
• skydd för anställda som slår larm om säkerhetsproblem.

Vad rapporterna visar – och inte visar

Rapporterna visar inte att mänsklighetens utrotning är nära, att alla anställda på ledande AI-labb mår dåligt eller att dagens AI-system kan förbättra sig själva obegränsat utan mänsklig hjälp.

De visar däremot varför vissa personer nära tekniken upplever situationen som etiskt svår: kraftfulla system testas under tidspress, de befarade skadorna omfattar både cyber- och biologiskt missbruk samt kontrollförlust, och institutionerna som ska styra lanseringar kan sakna tillräcklig självständighet och auktoritet. 2 15 18

För AI-säkerhetsforskare kan den kombinationen göra ett tekniskt arbete till en fråga om personligt ansvar. Den långsiktiga lösningen är inte att lägga ansvaret på enskilda medarbetare, utan att bygga trovärdiga system för oberoende utvärdering och ansvarsutkrävande som kan hålla jämna steg med tekniken de ska reglera.