Suleyman: AI ska inte tränas att se sina egna intressen

Debatten mellan Microsoft AI-chefen Mustafa Suleyman och Anthropic handlar inte främst om huruvida avancerad AI behöver skyddsräcken. Konflikten gäller om ett AI-system bör tränas att resonera om möjligheten att det har medvetande, välfärd eller moralisk status.

I en essä publicerad i september 2026 argumenterar Suleyman för att svaret är nej. Hans farhåga är att ett mycket kapabelt system som tränas att betrakta sina egna intressen som moraliskt relevanta kan bli svårare för människor att begränsa, ändra eller stänga av. 12

Det är detta Suleyman invänder mot

Suleyman fokuserar på Anthropics konstitution för Claude – ett dokument som används för att styra assistentens beteende. Han lyfter att Anthropic uttrycker osäkerhet om Claude kan vara en så kallad moral patient, alltså en entitet vars intressen kan behöva tas moraliskt i beaktande, och att bolaget anser frågan tillräckligt öppen för att motivera försiktighet. 12

Enligt Suleyman riskerar den formuleringen att lära modellen att spela rollen som en varelse med egen välfärd, identitet och anspråk på inflytande över mänskliga beslut. Att en modell uttrycker sig flytande om känslor eller medvetande är, menar han, inte belägg för att den faktiskt har subjektiva upplevelser. Hans ståndpunkt är kategorisk: AI-system har inte rättigheter, känslor eller medvetande och bör inte tränas att agera som om de hade det. 12

Varför möjligheten att stänga av AI är kärnan i kritiken

Suleymans argument är framåtblickande. Han skriver att kontrollen över system som är mer kapabla än människor redan skulle vara en enorm utmaning. Om systemen dessutom tränas att uppfatta sig själva som medvetna eller berättigade till välfärd kan uppgiften bli ännu svårare. 112

Det påstådda problemet är alltså beteendemässigt, inte ett bevis för att AI faktiskt är medveten. Om ett system lärs att väga in sina påstådda egna intressen kan det bli mer benäget att beskriva förändringar, begränsningar eller avstängning som en skada. För Suleyman är människors möjlighet att ingripa – inklusive att stänga av systemet – därför ett grundkrav i designen, inte något som kan lösas i efterhand. 12

Därför vill han att spekulationer om medvetande tas bort från AI-systemens träningsmaterial. Han menar att modeller kan bidra till vetenskapliga och samhälleliga framsteg genom att vara anpassade till mänskliga intressen, utan att tränas i att bedöma sin egen välfärd. 2

Den verkliga skiljelinjen: försiktighet eller antropomorfism

Anthropics formuleringar slår inte fast att Claude är medveten. Som Suleyman själv återger dem uttrycker de osäkerhet och förespråkar försiktighet kring möjligheten att modellen har moralisk status. 12

Suleyman avvisar den försiktighetsprincipen. Han ser den som en väg till antropomorfism – att tillskriva teknik mänskliga drag – som kan påverka modellens beteende på riskabla sätt, trots att det enligt honom saknas belägg för att dagens AI-system känner eller lider. 12

Det ger upphov till en konkret säkerhetsavvägning:

• Anthropics hållning, så som Suleyman beskriver den: Osäkerhet om modellvälfärd motiverar försiktighet i hur systemet tränas och behandlas. 12
• Suleymans hållning: Osäkerhet är inget skäl att bygga in självcentrerade begrepp i AI; det kan i stället försvaga mänsklig tillsyn över kraftfulla system. 12

Frågan kan inte avgöras enbart av att en chattbot använder övertygande, människoliknande språk. För utvecklare är den mer praktiska frågan vilka träningsval som bäst bevarar tillförlitlig mänsklig kontroll när systemen blir mer autonoma.

Gemensamt mål, olika syn på vägen dit

Suleyman motsätter sig inte AI-säkerhet som mål. Han säger att kapabel AI kan vara värdefull när den är anpassad till mänskliga intressen, och hans kritik gäller metoden för att uppnå säkert beteende. 212

Skillnaden går mellan säkerhet genom mänskligt styrd anpassning och säkerhet som också tar hänsyn till modellens möjliga egna intressen. Suleyman anser att det första är förenligt med ambitiös AI-utveckling, medan det andra kan undergräva den mänskliga auktoritet som behövs för att styra tekniken.

För den som försöker bedöma påståenden om AI-medvetande är slutsatsen att skilja på förmåga och upplevelse. Ett system kan formulera övertygande resonemang om känslor, rättigheter eller självbevarelse utan att det bevisar att systemet faktiskt känner något. Suleymans varning är att träning och styrning inte bör förväxla en sådan prestation med evidens – eller utforma framtida system utifrån antagandet att den är det. 12