KI-debatten om utryddelse: Varsler fra innsiden møter krav om bevis

Debatten om hvorvidt kunstig intelligens kan true menneskehetens eksistens, handler ikke bare om «alarmister» mot «teknologioptimister». Den dreier seg først og fremst om hvor raskt evnene kan utvikle seg, hvilke ledd som må svikte før en modell kan gjøre uopprettelig skade, og hvor mye dokumentasjon samfunnet bør kreve før utviklingen begrenses.

Nye advarsler fra folk som har arbeidet i ledende KI-laboratorier, har gitt diskusjonen større tyngde. Samtidig støtter også flere av dem som avviser utryddelsesretorikken, testing og sikkerhetstiltak. Den sentrale politiske utfordringen blir derfor stadig tydeligere: Kan utviklerne dokumentere kontroll og forsvarlig bruk når systemene blir kraftigere?

Varslene fra innsiden: Et kappløp mot systemer uten kontroll?

Jacob Coxon, en tidligere Anthropic-forsker som også oppga å ha arbeidet i OpenAI, sa opp i september 2026. Han hevdet at de to selskapene prioriterte konkurransen høyere enn ansvarlig utvikling, og advarte mot et kappløp mot «selvforbedrende superintelligens». 49

Evan Hubinger, leder for alignment-forskning i Anthropic, støttet Coxons advarsel offentlig. Hubinger sa at han personlig vurderte sannsynligheten for at KI kan drepe alle mennesker i løpet av det neste tiåret til over 10 prosent. Han sa også at Anthropic ennå ikke har en plan for å løse alignment – altså å sikre at en superintelligent KI handler i tråd med menneskelige mål og begrensninger. 16 Anslaget hans er omtalt som en personlig prognose, ikke som vitenskapelig konsensus eller en empirisk beregnet sannsynlighet. 12

Tidligere Google DeepMind-forsker Bilal Chughtai kom med en lignende advarsel. Han sa at han mener KI kan ha potensial til å drepe alle mennesker, og at tiden for å unngå et slikt utfall kan være i ferd med å renne ut. 2

Dette er normalt betingede scenarier, ikke påstander om at dagens chatboter plutselig blir farlige av seg selv. Bekymringen er at framtidige systemer kan akselerere KI-forskning, operere mer selvstendig, omgå effektiv menneskelig oppsyn eller forsterke tilgangen til digitale, biologiske og institusjonelle virkemidler raskere enn sikkerhetsmetodene forbedres. Hvor sannsynlig denne kjeden er – og hvor fort den eventuelt kan utspille seg – er selve stridsspørsmålet.

Hvorfor et anslag på 10 prosent ikke er en fastslått prognose

Hubingers tall har fått stor oppmerksomhet fordi det er drastisk og kommer fra en seniorforsker innen KI-sikkerhet. Men det må tolkes riktig: Det er en enkeltpersons skjønnsvurdering under dyp usikkerhet, ikke en sannsynlighet bekreftet av historiske data eller en modell som kan måle risikoen for menneskelig utryddelse. 12

Anslaget forutsetter blant annet at:

• KI-systemer blir vesentlig mer kapable enn dagens modeller.
• Disse evnene faktisk gir varig strategisk autonomi eller skadelig innflytelse i verden utenfor skjermen.
• Tekniske kontroller, operatører, institusjoner og mottiltak ikke klarer å begrense systemet eller misbruket av det.
• Sikkerhets- og alignment-forskningen ikke holder tritt med utviklingen i kapasitet.

Hvert ledd kan diskuteres for seg. Det gjør ikke bekymringen uvesentlig, men det betyr at et tall i en overskrift ikke bør forveksles med en dokumentert forutsigelse.

Skeptikernes innvending: Digital intelligens er ikke det samme som fysisk makt

Skeptikerne utfordrer spranget fra sterke resultater i programvare- og språkoppgaver til evnen til å påføre fysisk skade i global skala. Biologi brukes ofte som eksempel. Eric Xing har pekt på at det å få en språkmodell til å lage et hypotetisk virusgenom er noe helt annet enn å skape et levedyktig virus. Materialtilgang, produksjon, biologisk levedyktighet, laboratoriearbeid og testing er egne hindringer. 46

Skillet er viktig. En modell kan gi informasjon eller utkast til design, men å omsette dette til faktisk skade kan kreve spesialiserte laboratorier, taus praktisk kunnskap, forsyningskjeder, gjentatte forsøk og tilgang til kontrollerte materialer. Det betyr ikke at risikoen for biologisk misbruk er null. Men det utfordrer antakelsen om at digital kapasitet alene umiddelbart gir avgjørende fysisk handlekraft.

Nvidia-sjef Jensen Huang er blant de tydeligste kritikerne av utryddelsespåstandene. Han har omtalt ideen om at KI skal gjøre slutt på menneskeheten som «fullstendig nonsens». 33 Mark Cuban har på sin side hevdet at menneskers reaksjoner på alarmerende påstander kan være farligere enn KI-agentgrupper i seg selv. 43

Det skeptiske synet er dermed ikke nødvendigvis at avansert KI ikke trenger sikkerhetstiltak. Poenget er at ekstraordinære påstander om nært forestående utryddelse krever sterkere belegg enn ekstrapolering fra dagens modellprestasjoner og spekulative framtidsscenarioer.

En mulig mellomvei: Senk tempoet og kontroller sikkerheten

En mer praktisk tilnærming kommer fra ledere som verken behandler utryddelse som sikkert eller avviser risikoen blankt. Anthropic-sjef Dario Amodei har bedt om lavere tempo i forbedringen av KI-modellenes evner, slik at sikkerhetsarbeidet får tid. Rammeverket hans omfatter blant annet uavhengige evaluatorer med tilgang på nivå med ansatte og koordinering mellom selskapene som utvikler de mest avanserte modellene. 18

Reuters har rapportert at OpenAI-sjef Sam Altman er blant lederne som ønsker en samordnet nedbremsing, selv om bransjen fortsatt er splittet om hvor mye som skal overlates til markedsstyrte sikkerhetstiltak. 19 Altman har også støttet bruk av eksterne evaluatorer i en slik modell. 20

Dette flytter samtalen fra abstrakte spådommer til tiltak som kan etterprøves:

1. Uavhengig evaluering: Kvalifiserte eksterne fagfolk må få reell tilgang til å vurdere sikkerhetspåstander, framfor at offentligheten kun må stole på selskapenes egne erklæringer. 18
2. Terskler basert på kapabilitet: Tilsyn og eventuelle begrensninger bør skjerpes når modeller viser vesentlige fremskritt på farlige områder, som cyberoperasjoner eller selvstendig agentatferd.
3. Koordinering mellom laboratorier: Konkurrenter må få mindre insentiv til å kutte sikkerhetsmarginer bare for å unngå å falle bak. 18
4. Internasjonalt samarbeid: Myndigheter og store KI-utviklere bør samordne standarder og ordninger som reduserer presset for å lansere systemer uten tilstrekkelige sikkerhetstiltak. 27
5. Sikkerhet i samme tempo som kapasitet: Dokumentert kontroll, overvåking og beredskap bør utvikles parallelt med stadig kraftigere systemer – ikke i etterkant.

Tar de langsiktige scenarioene oppmerksomheten fra dagens skadevirkninger?

En annen innvending gjelder prioriteringene. Selv om katastroferisiko kan fortjene forskning og beredskap, kan et ensidig fokus på usikre utryddelsesscenarioer skygge for skadevirkninger som allerede er knyttet til avansert KI og måten den tas i bruk på.

Den mer umiddelbare agendaen omfatter KI-støttet cybermisbruk, svindel, overvåking, desinformasjon, diskriminerende automatiserte avgjørelser, endringer i arbeidslivet og maktkonsentrasjon. Amodei har selv vist til misbruksrisiko som våpenutvikling, cyberangrep og overvåking da han argumenterte for lavere utviklingstempo. 29

Dette trenger ikke være et valg mellom dagens skadevirkninger og langsiktige katastrofer. Mange av de samme tiltakene kan motvirke begge deler: bedre tilgangskontroll, grundigere evalueringer, forsiktige lanseringsregler, uavhengig innsyn, rapportering av hendelser og tydelig ansvar.

Hva debatten faktisk bør endre

Den sterkeste konklusjonen er verken at menneskelig utryddelse er bevist, eller at risikoen kan avfeies fordi ingen har demonstrert hele den katastrofale årsakskjeden. Materialet peker mot en mer praktisk standard: Sikkerhetspåstander for stadig kraftigere KI-systemer må kunne testes, granskes uavhengig og stå i forhold til omfanget av den mulige skaden.

Coxon, Hubinger og Chughtai argumenterer for føre var-prinsippet under stor usikkerhet. Skeptikere som Huang og Xing stiller spørsmål ved om dagens belegg kan forsvare nært forestående dommedagskonklusjoner. Amodei og Altman peker mot en respons som ikke krever at alle filosofiske uenigheter først løses: Senk tempoet ved den teknologiske fronten, mål farlige evner, åpne for troverdig ekstern kontroll og samordne sikkerhetskrav før konkurransepress gjør udokumenterte sikkerhetspåstander til normalen ved lansering. 49 16 33 18 19