Varför sjukskriver sig och slutar AI-säkerhetsforskare?

Det som beskrivs är i första hand en krock mellan etisk belastning och institutionell press. De som granskar de mest avancerade AI-modellerna kan frukta att systemen – och företagens kapplöpning att lansera dem – hinner möjliggöra biologisk eller cyberrelaterad skada innan skydd, tillsyn och testkapacitet är på plats.

Enligt uppgifter som återgivits från Financial Times har flera medarbetare vid Storbritanniens AI Safety Institute (AISI) tagit sjukledighet eller sökt samtalsstöd på grund av psykisk press. AISI är ett brittiskt organ som oberoende utvärderar så kallade frontier-modeller, alltså de mest kapabla AI-systemen. Källorna beskriver låg moral och utmattning under snäva tidsramar för modelltester. 15 Det finns också rapporter om oro bland forskare vid stora AI-laboratorier, men det offentliga underlaget visar inte hur utbrett detta är inom varje enskild organisation.

Riskerna upplevs som både konkreta och mycket stora

Forskarnas farhågor gäller inte enbart avlägsna framtidsscenarier. AI kan sänka tröskeln för cyberangrepp eller biologiskt missbruk. Samtidigt oroar sig vissa för att allt mer autonoma system på sikt kan bli svåra att hålla under meningsfull mänsklig kontroll. Jacob Coxon har särskilt pekat på AI-stödda biologiska hot och cybervapen som möjliga vägar till katastrofala konsekvenser. 15

När riskbedömaren också blir en del av processen

Säkerhetspersonal studerar inte bara risker på avstånd. De kan utvärdera, träna eller bidra till att systemen faktiskt tas i bruk. Om testperioderna är korta samtidigt som den kommersiella konkurrensen fortsätter kan avståndet mellan att upptäcka en risk och att kunna stoppa en lansering upplevas som mycket litet. Det kan skapa utmattning, maktlöshet och vad som ofta kallas moralisk stress.

Coxon, som tidigare arbetade med förträning av AI-modeller hos både OpenAI och Anthropic, lämnade Anthropic och hävdade därefter att bolagen tävlar mot självförbättrande superintelligens utan att agera tillräckligt ansvarsfullt. 14 I en intervju med BBC sade han att människor inne i de ledande laboratorierna är ”genuint rädda” för utvecklingstakten och dess följder. 9

En fråga om styrning – inte bara enskilda medarbetares samvete

Debatten har därför blivit en fråga om arbetsvillkor och samhällsstyrning, snarare än bara personliga ställningstaganden. En enskild forskare eller ett enskilt bolag kan svårligen bromsa en konkurrensdriven kapplöpning på egen hand. Stanford-forskare har bedömt att en bred inbromsning av AI-kapacitet vore svår att genomföra, men har samtidigt lyft fram oberoende utvärderingar av myndigheter eller kvalificerade tredje parter som en central del av ett säkrare system. 3

Det räcker inte med allmänna uttalanden om att ”sakta ned”. Dario Amodei på Anthropic, Sam Altman på OpenAI och Demis Hassabis på Google DeepMind har, med olika konkretion, ställt sig bakom en långsammare takt för den mest avancerade AI-utvecklingen. 2 Kritiker invänder dock att en AI-frysning som utformas eller övervakas av dagens marknadsledare kan stärka just deras position och tränga undan mindre aktörer. 11

Det verkliga trovärdighetstestet handlar därför om åtgärder som går att kontrollera: uppskjutna lanseringar, externa granskningar, bindande risktrösklar, skydd för visselblåsare och en faktisk vilja att acceptera begränsningar utifrån.

AI som påskyndar AI-forskning ökar känslan av att utvecklingen glider undan

En särskild oro är att AI-system i allt högre grad kan automatisera delar av forskning och mjukvaruutveckling. Fullständig rekursiv självförbättring – att AI självständigt förbättrar sina egna förmågor i en återkopplingsloop – har inte visats i praktiken. 6 Men automatisering av delar av forsknings- och ingenjörsarbetet kan ändå korta utvecklingscyklerna och göra det svårare för människor att förstå, testa och styra systemen i samma takt.

Georgetowns Center for Security and Emerging Technology bedömer att sådan automatisering kan påskynda AI-utvecklingen och försämra människors möjlighet till insyn och kontroll. 4 En ny studie fann samtidigt att AI-agenter kunde utföra stora delar av det tekniska ingenjörsarbetet i AI-forskning utan mänsklig hjälp, men ännu inte gjorde meningsfulla framsteg i öppen, självständig vetenskaplig forskning. 5

Detta är alltså inte belägg för att mänsklighetens utplåning är nära förestående. Det är däremot ett tecken på att vissa personer närmast utvecklingen bedömer kombinationen av snabbare kapacitet, dubbelanvändningsrisker, tävlingsincitament och svag extern kontroll som psykiskt och etiskt svår att leva med.