AI-sikkerhedsforskere brænder ud i kapløbet om de mest avancerede modeller

For forskere, der arbejder med sikkerhed i de mest avancerede AI-modeller, kan jobbet rumme et særligt pres: De skal finde alvorlige svagheder i systemer, som kan være tæt på lancering, men har ikke nødvendigvis mandat til at forsinke eller stoppe dem.

Ifølge rapporter har flere ansatte ved Storbritanniens AI Safety Institute (AISI) taget sygeorlov eller søgt rådgivning. Korte tidsfrister for test, lav moral og bekymring for hurtig udrulning nævnes som medvirkende faktorer. Det er ikke bevis for, at belastningen gælder alle ansatte i instituttet eller på tværs af Anthropic, OpenAI og Google DeepMind. Men det peger på den menneskelige pris i et teknologisk kapløb med høje indsatser. 2

Når det ikke er nok at opdage en risiko

Sikkerhedsforskere undersøger ikke blot en fjern, teoretisk teknologi. De tester modeller, som virksomheder kan vælge at tage i brug kort tid efter. Det kan skabe en konflikt mellem fagligt ansvar og organisationens momentum: At opdage et sikkerhedshul er ikke det samme som at have beføjelse til at lukke det eller udskyde en lancering.

Rapporteringen om AISI handler især om kortere vinduer til evaluering af endnu ikke udgivne systemer og om bekymring for, at kommerciel udrulning og kapabilitetsfremskridt går hurtigt. 2 Når konsekvenserne af fejl opleves som store, tempoet er højt, og mulighederne for uafhængig indgriben er uklare, kan udbrændthed blive forstærket af en følelse af ansvar, som den enkelte medarbejder ikke kan løfte alene.

Det er først og fremmest et institutionelt problem. Det er hverken dokumentation for, at en bestemt medarbejder reagerer urimeligt, eller for, at en katastrofe er uundgåelig.

Hvilke risici bekymringen handler om

Bekymringerne spænder fra relativt nærliggende misbrug til mere spekulative, langsigtede scenarier om tab af kontrol.

Cyberangreb og biologisk misbrug

En meget kapabel model kan sænke den viden, tid eller omkostning, der kræves for at udføre skadelig aktivitet. Den tidligere Anthropic-forsker Jacob Coxon, som også tidligere arbejdede hos OpenAI, har peget på AI-understøttede biologiske trusler og cybervåben som mulige veje til alvorlig skade. 15

Det er ikke påstande om, at en bestemt model allerede har forårsaget sådanne hændelser. Det er forklaringen på, hvorfor sikkerhedsteams lægger vægt på evalueringer, adgangskontrol og overvågning, før modeller med stærkere ræsonnering eller mere selvstændig, agentbaseret adfærd bliver bredt taget i brug.

Systemer, der rykker hurtigere end tilsynet

En anden frygt er, at AI kan automatisere stadig større dele af forskning og udvikling og dermed accelerere selve udviklingscyklussen. En rapport fra Georgetown University's Center for Security and Emerging Technology (CSET) beskriver, at stærkt automatiseret AI-forskning og -udvikling kan fremskynde kapabilitetsfremskridt, samtidig med at systemerne bliver sværere for mennesker at forstå og kontrollere. Rapporten præsenterer det som et muligt risikoscenarie – ikke som et fastslået udfald. 48

Den nuværende evidens sætter samtidig en vigtig grænse. Et nyere studie fandt, at AI-agenter kunne udføre betydelige dele af det forskningsingeniørmæssige arbejde uden menneskelig hjælp, men ikke gøre væsentlige fremskridt med de åbne forskningsspørgsmål, der blev testet. 49 Fuld rekursiv selvforbedring er altså ikke dokumenteret. Bekymringen handler i stedet om retning og hastighed: Selv delvis automatisering kan forkorte den tid, der er til rådighed for evaluering, regulering og fejlretning.

Derfor vakte Jacob Coxons opsigelse opsigt

Coxons offentlige opsigelse gav et menneskeligt ansigt til bekymringer, som ofte holdes internt. Efter arbejde med prætræning hos både OpenAI og Anthropic sagde han, at virksomhederne efter hans opfattelse kappes om at skabe selvforbedrende superintelligens uden at handle ansvarligt. Han sagde også til BBC, at folk, som arbejder med teknologien, er „oprigtigt bange“ for tempoet og de mulige følger. 1

En opsigelse bekræfter ikke alle forudsigelser fra den person, der forlader virksomheden. Men den synliggør et reelt dilemma: Er det bedst at blive i et AI-laboratorium for at styrke sikkerhedsarbejdet indefra – eller er det nødvendigt at gå offentligt ud, når interne kanaler opleves som utilstrækkelige?

Ét laboratorium kan ikke let bremse kapløbet

Kernen i styringsproblemet er kollektiv handling. Et laboratorium, der alene sænker farten, kan frygte at tabe terræn til konkurrenterne. Samtidig har medarbejdere i det enkelte laboratorium endnu mindre indflydelse på et kapløb, der omfatter hele branchen.

Stanford HAI's debat om, hvorvidt AI kan sættes ned i tempo, konkluderede, at en bred opbremsning af udviklingen af AI-kapabiliteter vil være svær at gennemføre. Paneldeltagerne fremhævede dog uafhængige evalueringer foretaget af myndigheder eller kvalificerede tredjeparter samt stærkere investeringer i sikkerhed, informationssikkerhed og overvågning. 18

Det er mere håndgribeligt end at lægge ansvaret på den enkelte forskers samvittighed. Spørgsmålet bliver i stedet fælles spilleregler: Hvem udfører testene? Hvad sker der, hvis en risikogrænse overskrides? Og hvem kan kontrollere, at reglerne faktisk bliver fulgt?

Er branchens opfordringer til lavere tempo oprigtige?

Anthropics Dario Amodei, OpenAI's Sam Altman og Google DeepMinds Demis Hassabis har i forskellig grad offentligt støttet, at udviklingen af de mest avancerede AI-systemer sættes ned i tempo eller „paceres“. 32 Blandt de forslag, der er blevet drøftet, er eksterne evaluatorer med løbende adgang til de førende AI-laboratorier. 36

Men et offentligt tilsagn er ikke det samme som en håndhævelig begrænsning. Kritikere peger på, at en AI-frysning udformet af de dominerende virksomheder kan styrke deres magt og stille mindre konkurrenter dårligere. 34 Begge dele kan være sandt samtidig: Nogle ledere kan oprigtigt se sikkerhedsrisici, mens etablerede virksomheder også kan få fordel af regler, som er svære for nye aktører at opfylde.

Det relevante kriterium er derfor ikke at gætte på motiver, men om løfterne kan efterprøves. En seriøs sikkerhedsforpligtelse vil være lettere at vurdere ud fra:

• uafhængige evalueringer, som ikke alene styres af udvikleren;
• klare risikogrænser og konsekvenser, når de overskrides;
• åben rapportering af hændelser og gennemsigtige sikkerhedspraksisser;
• reelt eksternt tilsyn; og
• beskyttelse af ansatte, der gør opmærksom på sikkerhedsproblemer.

Hvad rapporterne viser – og ikke viser

Rapporterne dokumenterer ikke, at menneskehedens udslettelse er nært forestående, at alle ansatte i førende AI-laboratorier er belastede, eller at dagens AI-systemer kan forbedre sig selv uden grænser.

De viser derimod, hvorfor nogle mennesker tæt på teknologien oplever situationen som etisk vanskelig: Stærke systemer testes under tidspres, de frygtede skader spænder fra cyber- og biologisk misbrug til tab af kontrol, og institutionerne, der skal styre lanceringerne, har muligvis endnu ikke tilstrækkelig uafhængighed eller myndighed. 2 15 18

For AI-sikkerhedsforskere kan den kombination gøre et teknisk arbejde til et spørgsmål om personligt ansvar. Den holdbare løsning er ikke at placere ansvaret hos den enkelte medarbejder, men at opbygge troværdige og uafhængigt efterprøvelige systemer for evaluering og ansvarlighed, der kan følge med teknologien, de skal regulere.