AI-sikkerhedsforskere presses af frygten for, at teknologien løber fra kontrollen

Det umiddelbare svar er et sammenstød mellem moralsk belastning og institutionelt pres. De mennesker, der skal afprøve de mest avancerede AI-modeller, frygter, at modellerne – og kapløbet om at tage dem i brug – kan gøre biologisk misbrug eller cyberangreb lettere, før sikkerhedsforanstaltninger, tilsyn og testkapacitet kan følge med.

Der er rapporteret om medarbejdere ved UK AI Safety Institute (AISI), som har taget sygeorlov eller søgt rådgivning på grund af psykisk belastning. AISI er den britiske instans, der evaluerer såkaldte frontier-modeller, altså AI-modeller i den teknologiske front. Kilderne beskriver lav moral og udbrændthed under stramme testplaner. Der er også meldt om lignende uro blandt forskere på store AI-laboratorier, men den offentligt tilgængelige dokumentation viser ikke, hvor udbredt den er i hver enkelt organisation. 15

Bekymringerne spænder fra misbrug her og nu til tab af kontrol

Forskerne peger på to typer risiko. Den nære risiko er, at modeller kan sænke tærsklen for cyberangreb eller biologisk misbrug. Den mere langsigtede frygt er, at stadig mere autonome systemer kan blive så svære at forstå og styre, at menneskelig kontrol i praksis bliver utilstrækkelig. Jacob Coxon har specifikt fremhævet AI-understøttede biologiske trusler og cybervåben som mulige veje til en katastrofe. 15

For sikkerhedsfolk er det ikke kun en abstrakt debat. De evaluerer, træner eller bidrager til at gøre netop de systemer klar, som de er bekymrede for. Hvis et hold opdager en risiko, men oplever, at kommercielle tidsplaner eller konkurrence fortsætter uændret, kan det skabe afmagt, udbrændthed og en følelse af medansvar.

Coxons opsigelse gjorde den interne frygt offentlig

Jacob Coxon arbejdede med pretraining – den tidlige, datatunge træning af modeller – hos både OpenAI og Anthropic, før han sagde op fra Anthropic. Han skrev efterfølgende, at selskaberne efter hans opfattelse kapløber mod selvforbedrende superintelligens uden at handle ansvarligt. 14

Til BBC sagde Coxon, at personer i førende laboratorier var “oprigtigt bange” for udviklingens tempo og konsekvenserne for menneskeheden. 9 Den slags offentlige advarsler kan gøre en ellers privat bekymring mere konkret for andre ansatte: Skal man blive og forsøge at påvirke arbejdet indefra, protestere eller forlade virksomheden?

Det er også et spørgsmål om styring – ikke kun personligt mod

En enkelt forsker eller et enkelt laboratorium kan vanskeligt løse et konkurrencepræget teknologikapløb alene. Derfor kredser debatten om koordinerede begrænsninger, troværdige eksterne evalueringer og offentlige regler. Stanford-forskere har vurderet, at en bred opbremsning af AI-kapabiliteter vil være svær at gennemføre, men har samtidig fremhævet evalueringer foretaget af myndigheder eller kvalificerede tredjeparter som en nødvendig del af AI-økosystemet. 3

Det er ikke muligt ud fra de tilgængelige kilder at tilskrive Stanford-professor Rob Reich et specifikt, detaljeret forslag om koordineret medarbejderaktion. Hans rolle i debatten er bredere: hvordan samfundet kan styre frontier-teknologi, når afgørende beslutninger ikke bør overlades til virksomhederne alene. 1

Virksomhedernes opbremsningsretorik har ikke fjernet mistilliden

Dario Amodei fra Anthropic, Sam Altman fra OpenAI og Demis Hassabis fra Google DeepMind har med forskellige forbehold støttet idéen om at sænke tempoet i udviklingen af frontier-AI. 2 Kritikerne peger dog på, at en AI-pause, som udformes eller håndhæves af de dominerende virksomheder selv, kan styrke netop deres markedsmagt og gøre det sværere for mindre konkurrenter at følge med. 11

Derfor er den afgørende prøve ikke alene ordene, men om virksomhederne accepterer efterprøvelige tiltag: udsatte lanceringer, uafhængige audits, klare og håndhævelige risikotærskler, whistleblower-beskyttelse og reel ekstern kontrol.

AI, der hjælper med AI-forskning, får tempoet til at føles mindre styrbart

Bekymringen er ikke, at fuld rekursiv selvforbedring – hvor AI på egen hånd vedvarende forbedrer sine egne evner – allerede er opnået. Det er den ikke. 6 Men AI-systemer kan i stigende grad automatisere dele af forsknings- og ingeniørarbejdet. Det kan forkorte udviklingscyklusserne og gøre det vanskeligere for mennesker at forstå, teste og regulere nye kapabiliteter i samme tempo.

CSET vurderer, at mere automatiseret AI-forskning kan accelerere fremskridtet og svække menneskers mulighed for at forstå og kontrollere udviklingen. 4 En nyere undersøgelse fandt samtidig, at agenter kunne gennemføre en betydelig del af det tekniske forskningsarbejde uden menneskelig hjælp, men endnu ikke skabe meningsfulde fremskridt i åbne forskningsspørgsmål. 5

Det er altså ikke dokumentation for, at menneskehedens udslettelse er nært forestående. Det er dokumentation for, at nogle af dem, der arbejder tættest på frontier-AI, oplever kombinationen af hurtigere kapabiliteter, dobbeltanvendelige risici, konkurrencepres og svag ekstern kontrol som etisk og psykisk uholdbar.