Derfor tar KI-sikkerhetsforskere permisjon eller slutter

Det umiddelbare problemet ser ut til å være en kollisjon mellom moralsk stress og institusjonelt press. Folk som skal teste de mest avanserte KI-modellene, frykter at modellene – og kappløpet om å lansere dem – kan muliggjøre biologisk misbruk eller cyberangrep før sikkerhetstiltak, tilsyn og evalueringskapasitet rekker å holde tritt.

Det er rapportert at flere ansatte ved Storbritannias AI Safety Institute (AISI), et organ som uavhengig evaluerer avanserte KI-modeller, har tatt medisinsk permisjon eller søkt rådgivning på grunn av psykisk belastning. Kildene peker på lav moral, utbrenthet og stramme testfrister. Det finnes også rapporter om uro blant forskere i store KI-laboratorier, men det offentlige materialet fastslår ikke hvor utbredt dette er i hver enkelt organisasjon. 15

Hva er de redde for?

Bekymringene gjelder både risikoer på kort sikt og svært alvorlige, mer langsiktige scenarier.

• Biologisk og digitalt misbruk: Forskere frykter at modeller kan senke terskelen for cyberangrep eller misbruk av biologisk kunnskap. Jacob Coxon har pekt på KI-støttede biologiske trusler og cybervåpen som mulige veier til katastrofale konsekvenser. 15
• Mindre menneskelig kontroll: En annen bekymring er at stadig mer autonome systemer kan bli vanskeligere å forstå, teste og styre på en meningsfull måte.
• Raskere utvikling enn sikkerhetsarbeidet: Når testperiodene er korte og kommersielt press fortsetter, kan avstanden mellom å oppdage en risiko og faktisk kunne stanse en lansering oppleves som uutholdelig.

Når sikkerhetsarbeid også kan føles som medvirkning

For sikkerhetsansatte er dette ikke en teoretisk debatt. De evaluerer, trener eller bidrar til å gjøre systemene klare for bruk. Dersom de mener at farer blir identifisert uten at de har reell myndighet til å forsinke eller stoppe utrulling, kan arbeidet gi en følelse av maktesløshet, utbrenthet og moralsk belastning. 15

Coxon, som tidligere jobbet med pretraining – den innledende treningen av store modeller – hos både OpenAI og Anthropic, sa opp stillingen i Anthropic og hevdet at selskapene kappløper mot selvforbedrende superintelligens uten å handle ansvarlig. 14 I et intervju med BBC sa han at folk i ledende laboratorier var «genuinely frightened» – oppriktig redde – for tempoet i utviklingen og hva det kan innebære. 9

At han sa dette offentlig, har gjort en bekymring som ofte har vært intern, mer synlig. Det kan også skjerpe valget for ansatte: Skal de bli værende, protestere internt eller slutte?

Hvorfor enkeltpersoner ikke kan løse kappløpet alene

Diskusjonen har dermed blitt et spørsmål om styring og arbeidsliv, ikke bare personlig belastning. Stanford-forskere, blant dem Rob Reich, har løftet spørsmålet om hvordan samfunnet bør styre teknologi i frontlinjen, i stedet for å overlate avgjørende valg til forskere og selskaper alene. 1

Et bredt tilbakeslag i selve KI-kapabilitetene anses som vanskelig å få til. Stanford HAI fremhever i stedet uavhengige evalueringer utført av myndigheter eller kvalifiserte tredjeparter, samt mer bevissthet rundt utrulling, risikorevisjoner og samfunnsvirkninger. 3

Dette er viktig for ansatte som opplever at konkurransen presser alle aktører videre: Ett laboratorium eller én forsker kan vanskelig på egen hånd skape en tryggere utviklingsbane. Det krever samordning, troverdige eksterne vurderinger og regler som kan håndheves.

Skepsis til toppsjefenes krav om lavere tempo

Dario Amodei i Anthropic, Sam Altman i OpenAI og Demis Hassabis i Google DeepMind har, med ulik grad av konkretisering, støttet en langsommere utvikling av KI i frontlinjen. 2 Samtidig mener kritikere at en «KI-frys» utformet eller kontrollert av de største selskapene kan befeste deres markedsmakt og stenge ute mindre konkurrenter. 11

Det skaper et troverdighetsproblem: Er kravene først og fremst drevet av sikkerhet, forretningsstrategi eller begge deler? For skeptikerne er ikke ord nok. De peker på behovet for etterprøvbare tiltak som utsatte lanseringer, uavhengige revisjoner, tydelige terskler for hva som ikke skal slippes ut, vern av varslere og aksept for ekstern kontroll.

Automatisert KI-forskning gjør utviklingen vanskeligere å forutsi

En sentral uro gjelder ikke at KI allerede har oppnådd full, rekursiv selvforbedring. Det har den ikke. 6 Bekymringen er heller at KI i økende grad kan automatisere deler av forskning og ingeniørarbeid. Det kan korte ned utviklingssyklusene og føre til at kapasitetene vokser raskere enn mennesker klarer å evaluere og regulere dem.

CSET ved Georgetown University peker på at mer automatisert KI-forskning og -utvikling kan akselerere framgangen og svekke menneskers evne til å forstå og kontrollere systemene. 4 En nyere studie fant samtidig at KI-agenter kunne utføre mye av ingeniørarbeidet i forskningsprosjekter uten menneskelig hjelp, men ikke oppnå vesentlig framgang på de åpne forskningsspørsmålene. 5

Det er altså ikke dokumentasjon på at menneskehetens undergang er nært forestående. Det er dokumentasjon på at noen av menneskene nærmest utviklingen vurderer kombinasjonen av raskere kapasitet, dobbelbruk-risiko, konkurransepress og svakt eksternt tilsyn som psykisk og etisk uholdbar.