Sam Altmans två AI-varningar: förlorad kontroll och koncentrerad makt

Sam Altman, vd för OpenAI, ser två skilda sätt som mycket kraftfull AI kan skada samhället på. Antingen kan människor förlora kontrollen över systemen, eller så kan kontrollen över dem samlas hos alltför få. Därmed placerar han teknisk AI-säkerhet och politisk styrning i samma diskussion: frågan är inte bara vad modellerna kan göra, utan också vem som får bestämma över dem. 1316

Två utvecklingar Altman vill undvika

För det första: att människor förlorar kontrollen. Altman har varnat för att mänskligheten kan ”förlora kontrollen över framtiden till AI”, något han beskriver som oacceptabelt. Hans uttalade princip är att AI ska tjäna människor – inte att människor ska bli beroende av, eller underordnade, system som de inte kan övervaka på ett tillräckligt sätt. 216

För det andra: att AI-makten koncentreras. Han varnar också för en värld där ett extremt kraftfullt AI-system kontrolleras av en enda person, ett företag eller ett land och används för att påtvinga alla andra en viss världsbild. Ett sådant utfall kan bli ”extremt dystopiskt”, enligt Altman. 113

Riskerna hänger ihop, men är inte samma sak. Den första gäller om människor kan förstå, begränsa och köra över kraftfulla system. Den andra gäller vad som händer om systemen visserligen går att styra, men styrs av en aktör med alltför lite insyn och motmakt.

Vilka skyddsåtgärder förespråkar han?

Altmans hållning är inte att AI-utvecklingen bara ska stoppas. I stället menar han att kapaciteten inte får springa ifrån arbetet med så kallad alignment – att få AI att agera i linje med mänskliga mål och begränsningar – och övervakning. Konkurrenspress får inte användas som ursäkt för vårdslösa lanseringar. 213

Han har bland annat lyft fram följande:

• Alignment och övervakning som håller jämna steg med kapacitetsökningen. Utvecklare måste kunna bedöma och kontrollera vad allt mer kapabla system faktiskt gör. 213
• AI i människors tjänst. Det är grundtanken bakom hans varning för förlorad kontroll. 216
• Enhetliga federala krav för avancerad AI i USA. Altman välkomnar ett nationellt ramverk för risker med så kallad frontier AI – de mest avancerade modellerna – i stället för att enbart förlita sig på splittrade frivilliga åtaganden. 1316
• Oberoende granskning. Han har pekat på externa revisorer som en möjlig väg till större förtroende för företag som utvecklar allt kraftfullare modeller. 16

I praktiken innebär det ett högre beviskrav för de mest kapabla systemen: säkerhetsåtgärderna bör vara testade och trovärdiga före beslut om användning, inte bli ett tillägg först efter att kapaciteten har tagit ett stort kliv framåt.

Anthropic-varningarna skärper tonen

Samma vecka varnade den tidigare Anthropic-forskaren Jacob Coxon för att ledande AI-labb tävlar mot självförbättrande AI och därmed ”spelar med våra liv”. Enligt rapportering om hans avhopp ansåg han att forskare som bygger systemen på allvar fruktar att de kan bli för kraftfulla för människor att kontrollera. 17

Varningen är mer direkt formulerad än Altmans, men den underliggande oron är snarlik: AI:s kapacitet kan utvecklas snabbare än förmågan att övervaka systemen på ett tillförlitligt sätt. I ett uppmärksammat offentligt meningsutbyte uppskattade Anthropics ansvarige för alignment, Evan Hubinger, personligen sannolikheten för att AI orsakar mänsklighetens utrotning inom tio år till över 10 procent. Han sade också att det ännu inte finns en komplett lösning på alignment för superintelligens. Det är en enskild riskbedömning, inte en etablerad prognos eller vetenskapligt fastslagen sannolikhet. 17

Poängen är inte att en viss tidslinje för utrotning har bevisats – det har den inte. Poängen är att personer nära utvecklingen offentligt ifrågasätter om dagens säkerhetsarbete går tillräckligt fort för systemen som byggs.

Branschens verkliga konflikt: kapacitet först eller säkerhet först?

Motsättningen beskrivs ofta som en kamp mellan dem som vill skynda på AI och dem som vill bromsa. Men bilden är mer komplicerad. De flesta är överens om att AI kan ge stora nyttor. Tvisten gäller i stället ordningsföljd och bindande ansvar.

Ena sidan vill att utvecklingen av de mest avancerade modellerna ska anpassas till takten i säkerhetsforskning, tester, reglering och åtgärder mot missbruk. Anthropics vd Dario Amodei har efterlyst långsammare kapacitetsutveckling och föreslagit bland annat oberoende utvärderare med nära insyn, samordning mellan ledande AI-labb och internationellt samarbete.

Mottrycket är påtagligt: företag och regeringar oroar sig för att ett långsammare tempo än konkurrenternas kan innebära förlorade ekonomiska eller geopolitiska fördelar. Altman menar dock att konkurrens inte kan rättfärdiga att AI-kapaciteten går före alignment och övervakning. 13

Reuters har rapporterat att vissa forskare anser att modellernas förmågor kommer snabbare än väntat, samtidigt som människors insyn i – och möjliga kontroll över – systemen minskar. Det gör kärnfrågan mer akut: ska labben fortsätta att släppa mer autonoma modeller medan skyddsåtgärderna hinner ikapp, eller måste de först visa att skyddet är tillräckligt?

Vad det betyder för styrningen av AI

Altmans två varningar pekar mot att regleringen av avancerad AI måste hantera både teknisk kontroll och maktfördelning. Bättre modellutvärderingar, alignment-forskning, övervakning och oberoende tillsyn riktar sig mot det första problemet. Enhetliga regler, transparens och begränsningar av ensidig kontroll riktar sig mot det andra.

Varken katastrofscenarier eller exakta tidplaner bör behandlas som fastslagna fakta. Men de möjliga konsekvensernas allvar är skälet till att krav på starkare utvärderingar, extern granskning och säkerhetskrav har gått från att vara en nischfråga till att bli central i AI-branschen. 13