Hvorfor AI-sikkerhetsforskere brenner ut – og ber om lavere tempo

Arbeid med sikkerheten til de mest avanserte AI-modellene kan gi en særpreget form for press: Noen av dem som skal avdekke risiko, mener systemene kan påføre alvorlig skade, samtidig som de kan ha begrenset myndighet til å utsette en lansering eller kreve endringer. Det er rapportert at flere ansatte ved Storbritannias AI Safety Institute har tatt medisinsk fravær eller søkt rådgivning. Korte testfrister, lav moral og uro over rask utplassering av modeller trekkes fram som medvirkende forhold. Dette er ikke bevis for at belastningen er universell – verken ved instituttet eller hos Anthropic, OpenAI og Google DeepMind – men det synliggjør den menneskelige kostnaden ved et teknologikappløp med høy innsats. 2

Hvorfor dette arbeidet kan bli psykisk krevende

Sikkerhetsforskere vurderer ikke en fjern og hypotetisk teknologi. De tester modellene som organisasjoner kan være i ferd med å ta i bruk. Dermed kan det oppstå en konflikt mellom faglig ansvar og institusjonelt framdriftspress: Å finne en sårbarhet er ikke det samme som å ha myndighet til å stanse en lansering.

Rapportene om det britiske instituttet dreier seg særlig om kortere tidsvinduer for evaluering av ikke-lanserte systemer, samtidig som kommersiell utrulling og kapasitetsløftet går fort. 2 I en slik situasjon kan utbrenthet forsterkes av opplevelsen av å ha ansvar for risikoer som den enkelte evaluator ikke kan løse alene.

Dette bør først og fremst forstås som et institusjonelt problem – ikke som et tegn på at enkeltansatte er irrasjonelle, eller at en katastrofe er sikker. Belastningen oppstår når de opplevde konsekvensene av feil er store, tempoet er høyt og mulighetene for uavhengig inngripen er uklare.

Risikoene forskerne er opptatt av

Bekymringene omfatter både misbruk på kort sikt og mer spekulative scenarioer om at kontrollen kan svekkes på lengre sikt.

Cyberangrep og biologisk misbruk

En svært kapabel modell kan redusere kompetansen, tiden eller kostnaden som kreves for skadelig aktivitet. Tidligere Anthropic-forsker Jacob Coxon, som også har arbeidet i OpenAI, har pekt på AI-aktiverte biologiske trusler og cybervåpen som mulige veier til alvorlig skade. 15

Det er ikke en påstand om at en bestemt modell allerede har forårsaket en slik hendelse. Det forklarer derimot hvorfor sikkerhetsteam vektlegger evalueringer, tilgangskontroller og overvåking før modeller med bedre resonneringsevne eller mer selvstendig, agentlignende atferd blir bredt tilgjengelige.

Når utviklingen går raskere enn tilsynet

En annen frykt er at AI kan automatisere stadig større deler av forskning og ingeniørarbeid, og dermed akselerere selve utviklingssyklusen. En rapport fra Georgetown CSET beskriver hvordan sterkt automatisert AI-forskning og -utvikling kan øke tempoet i kapasitetsutviklingen, samtidig som systemene blir vanskeligere for mennesker å forstå og kontrollere. Dette presenteres som et mulig risikoscenario, ikke som et fastslått utfall. 48

Dagens kunnskapsgrunnlag setter også en viktig grense. En nyere studie fant at agenter kunne gjennomføre omfattende forsknings- og ingeniørarbeid uten menneskelig hjelp, men ikke oppnå vesentlig framgang på de åpne forskningsspørsmålene som ble testet. 49 Full selvforbedring i en slik forstand er altså ikke påvist. Bekymringen handler om retning og fart: Selv delvis automatisering kan forkorte tiden som er tilgjengelig for evaluering, styring og korrigering.

Hvorfor Jacob Coxons oppsigelse fikk stor oppmerksomhet

Coxons offentlige oppsigelse ga et menneskelig ansikt til bekymringer som ofte blir værende internt. Han sa at han, etter arbeid med pretraining-forskning i OpenAI og Anthropic, mente selskapene kappløp mot selvforbedrende superintelligens uten å opptre ansvarlig. Til BBC sa han også at folk som jobber med teknologien, var «oppriktig redde» for utviklingstempoet og hva det kunne innebære. 1

En oppsigelse bekrefter ikke enhver spådom fra personen som slutter. Men den gjør et arbeidsplassdilemma synlig: Er det best å bli værende i laboratoriet for å forbedre sikkerhetstiltakene innenfra, eller er det nødvendig å gå offentlig ut når interne kanaler oppleves som utilstrekkelige?

Hvorfor ett enkelt laboratorium vanskelig kan bremse kappløpet

Kjernen i styringsproblemet er kollektiv handling. Et laboratorium som på egen hånd senker tempoet i kapasitetsutviklingen, kan frykte å tape terreng til konkurrenter. Samtidig kan ansatte i det laboratoriet få enda mindre innflytelse over et kappløp som foregår i hele bransjen.

Stanford HAI har vurdert spørsmålet om AI kan bremses, og konkluderte med at en bred nedbremsing av kapasitetsutviklingen vil være vanskelig å få til. Paneldeltakerne fremhevet likevel uavhengige evalueringer gjennomført av myndigheter eller kvalifiserte tredjeparter, sammen med sterkere investeringer i sikkerhet, sikring og overvåking. 18

Det er mer konkret enn å legge ansvaret på hver enkelt forsker. Spørsmålet flyttes fra individuell samvittighet til felles spilleregler: Hvem utfører testene, hva skjer når en risikoterskel passeres, og hvem kan kontrollere at reglene følges?

Er bransjens oppfordringer om lavere tempo oppriktige?

Anthropics Dario Amodei, OpenAIs Sam Altman og Google DeepMinds Demis Hassabis har i ulik grad offentlig støttet å bremse eller «passe tempoet» i utviklingen av grensemodeller. 32 Blant forslagene som er diskutert offentlig, er at eksterne evaluatorer skal få løpende tilgang til laboratoriene som utvikler disse modellene. 36

Men en offentlig forpliktelse er ikke det samme som en håndhevbar begrensning. Kritikere peker på at en AI-pause utformet av dominerende selskaper kan befeste deres makt og gjøre det vanskeligere for mindre konkurrenter. 34 Begge deler kan være sant samtidig: Noen ledere kan oppriktig se sikkerhetsrisikoer, og etablerte selskaper kan likevel ha nytte av regler som utfordrere har vanskeligere for å oppfylle.

Det mest nyttige kriteriet er derfor etterprøvbarhet, ikke gjetting om motiv. En seriøs sikkerhetsforpliktelse blir lettere å vurdere dersom den omfatter:

• uavhengige evalueringer som ikke bare styres av utvikleren;
• klare risikoterskler og konsekvenser når de overskrides;
• åpen rapportering om hendelser og sikkerhetspraksis;
• reelt eksternt tilsyn; og
• vern for ansatte som varsler om sikkerhetsproblemer.

Hva rapportene viser – og ikke viser

Rapportene viser ikke at menneskehetens undergang er nært forestående, at alle ansatte i laboratorier som utvikler grense-AI er belastet, eller at dagens AI-systemer kan forbedre seg selv ubegrenset og autonomt.

De viser derimot hvorfor enkelte som arbeider tett på teknologien opplever situasjonen som etisk vanskelig: Kraftige systemer testes under tidspress, fryktede skadevirkninger omfatter både cyber- og biologisk misbruk samt tap av kontroll, og institusjonene som skal styre lanseringene, har kanskje ennå ikke tilstrekkelig uavhengighet eller myndighet. 2 15 18

For AI-sikkerhetsforskere kan denne kombinasjonen gjøre en teknisk jobb til et spørsmål om personlig ansvar. Den varige løsningen er ikke å legge ansvaret på enkeltarbeidere alene, men å bygge troverdige og uavhengig etterprøvbare systemer for evaluering og ansvarliggjøring som kan holde tritt med teknologien de skal styre.