Sam Altman advarer mot to AI-farer: Kontrolltap og maktkonsentrasjon

Sam Altman, toppsjef i OpenAI, mener utviklingen av kraftig kunstig intelligens kan gå galt på to helt ulike måter: Mennesker kan miste kontrollen over systemene, eller kontrollen over dem kan samles hos svært få aktører. Advarselen kobler teknisk AI-sikkerhet til politisk makt: Det er ikke nok å spørre hva modellene kan gjøre – man må også spørre hvem som bestemmer over dem. 1316

To utviklingsspor Altman vil unngå

For det første: tap av menneskelig kontroll. Altman har advart mot at menneskeheten kan «miste kontrollen over framtiden til AI». Det er, slik han formulerer det, uakseptabelt. Prinsippet hans er at AI skal tjene mennesker, ikke at mennesker skal bli avhengige av eller underordnet systemer de ikke kan føre forsvarlig tilsyn med. 216

For det andre: konsentrert AI-makt. Han advarer også mot en verden der én person, ett selskap eller ett land kontrollerer et usedvanlig kraftig AI-system og bruker det til å påtvinge alle andre sitt verdenssyn. Et slikt utfall kan bli «ekstremt dystopisk», ifølge Altman. 113

Risikoene henger sammen, men de er ikke like. Den første handler om hvorvidt mennesker kan forstå, begrense og overstyre svært avanserte systemer. Den andre handler om at systemene i prinsippet kan være kontrollerbare, men styres av en aktør med for stor og ukontrollert makt.

Tiltakene Altman støtter

Altmans budskap er ikke at AI-utviklingen nødvendigvis må stanses. Han argumenterer i stedet for at modellkapasiteten ikke må komme foran arbeid med alignment – at systemene oppfører seg i tråd med menneskelige mål og intensjoner – og overvåking. Konkurransepress er ikke en unnskyldning for uforsvarlig lansering, mener han. 213

Han har særlig pekt på disse tiltakene:

• Samsvar og overvåking som holder tritt med modellene. Utviklerne må kunne vurdere og styre hva stadig mer kapable systemer faktisk gjør. 213
• AI i menneskers tjeneste. Dette er det overordnede målet bak advarselen mot å miste kontrollen. 216
• Felles føderale krav i USA for grensemodeller. Altman ønsker et nasjonalt rammeverk for å håndtere risiko ved de mest avanserte AI-modellene, framfor bare oppsplittede, frivillige løfter. 1316
• Uavhengig innsyn. Han har trukket fram uavhengige revisorer som en mulig måte å bygge tillit til selskapene som utvikler stadig kraftigere modeller. 16

I praksis betyr dette et høyere beviskrav for de mest avanserte systemene: Sikkerhetstiltakene bør være testet og troverdige før modeller tas i bruk, ikke behandles som noe som kan ryddes opp i etter at kapasiteten allerede har økt.

Anthropic-advarslene gjør konflikten skarpere

Samme uke advarte den tidligere Anthropic-forskeren Jacob Coxon om at ledende AI-laboratorier kappes mot selvforbedrende AI og «spiller hasard med livene våre». Ifølge omtalen av oppsigelsen hans mente han at forskere som bygger slike systemer oppriktig frykter at de kan bli for kraftige til at mennesker kan kontrollere dem. 17

Coxons ordvalg er mer direkte enn Altmans, men grunnbekymringen overlapper: Modellene kan utvikle evner raskere enn menneskenes evne til å føre pålitelig tilsyn. I en offentlig utveksling som ble omtalt i forbindelse med Coxons avgang, anslo Anthropics leder for alignment-forskning, Evan Hubinger, personlig at sannsynligheten for at AI fører til menneskelig utryddelse innen et tiår er over 10 prosent. Han sa også at en fullstendig løsning på alignment for superintelligent AI ennå ikke finnes. Dette er en individuell risikovurdering, ikke en etablert prognose eller en vitenskapelig konsensus om en bestemt sannsynlighet. 17

Det sentrale er ikke at en konkret tidslinje for menneskelig utryddelse er bevist – det er den ikke. Det er at personer tett på utviklingen av grensemodeller offentlig stiller spørsmål ved om dagens sikkerhetspraksis forbedres raskt nok.

Den egentlige uenigheten: Evner først eller sikkerhet først?

Debatten beskrives ofte som en kamp mellom å akselerere og å bremse AI. Det er for enkelt. De fleste er enige om at AI kan gi store gevinster. Konflikten gjelder tempo og håndheving.

Ett syn er at utviklingen av grensemodeller må tilpasses slik at sikkerhetsforskning, evalueringer, styring og tiltak mot misbruk rekker å modnes. Anthropics toppsjef Dario Amodei har bedt om lavere tempo i kapasitetsutviklingen og foreslått blant annet uavhengige evaluatorer med tett tilgang, samordning mellom ledende AI-laboratorier og internasjonalt samarbeid.

Motpresset er betydelig: Selskaper og myndigheter frykter at det å gå saktere enn rivalene kan bety tap av økonomiske eller geopolitiske fordeler. Men Altmans poeng er at konkurranse ikke kan rettferdiggjøre at kapasitet løper fra alignment og overvåking. 13

Reuters har rapportert at enkelte forskere mener modellevnene kommer raskere enn ventet, samtidig som menneskelig innsikt i – og mulig kontroll over – systemene blir svakere. Det gjør det sentrale politiske spørsmålet mer presserende: Skal laboratoriene fortsette å lansere stadig mer selvstendige modeller mens sikkerhetstiltakene prøver å ta dem igjen, eller må de først vise at vernene faktisk er tilstrekkelige?

Hva dette betyr for styringen av AI

Altmans to advarsler tilsier at regulering av grense-AI må håndtere både teknisk kontroll og fordelingen av makt. Bedre modelevalueringer, alignment-forskning, overvåking og uavhengig tilsyn retter seg mot det første problemet. Felles regler, åpenhet og begrensninger på ensidig kontroll retter seg mot det andre.

Katastrofespådommer og presise tidslinjer bør ikke behandles som fastslåtte fakta. Men den mulige alvorlighetsgraden ved feil er grunnen til at krav om sterkere evalueringer, eksternt innsyn og sikkerhetskrav har gått fra å være en nisjebekymring til å bli et hovedspørsmål for AI-industrien. 13