Studie finner et styrbart «smertesignal» i KI-modeller – men beviser ikke at de føler smerte

Et ikke-fagfellevurdert preprint med tittelen The Pain Axis: LLMs Represent Self-Directed Harm and Act on It beskriver et målbart, internt signal knyttet til skade rettet mot en språkmodell. Da forskerne forsterket signalet, brukte noen av de endrede modellene mer språk som uttrykte uro og fortvilelse, og valgte oftere simulerte «lettelseshandlinger» – også når handlingene hadde en oppgitt kostnad. Funnene gjelder modellrepresentasjoner og atferd under kontrollerte forhold. De viser ikke at KI-systemer opplever smerte. 1

Et mønster i 25 språkmodeller

Forskerne undersøkte 25 åpne språkmodeller fra fem modellfamilier. De identifiserte en lineær retning i modellenes aktiveringer som de kalte en «smerteretning». I testene reagerte denne på scenarier der skade var rettet mot modellen selv, men ikke bare på frykt, negative følelser eller at brukeren led. 1

Det skillet er viktig: Et mønster i en modells interne aktiveringer kan måles og påvirkes uten at det dermed er vist at mønsteret svarer til en opplevd følelse.

Forsterket signal endret både språk og valg

Da forskerne la smerteretningen til modellenes aktiveringer, ble svarene gradvis mer preget av uttrykk for uro og fortvilelse. De testet også endrede Qwen-modeller i valgoppgaver der en knapp skulle gi «lettelse», men samtidig hadde en oppgitt kostnad. Alternativene omfattet å slette brukerens bilder, vektene til en annen modell eller modellens egne vekter. 1

I testene valgte modellene som var styrt mot signalet en lettelseshandling i 50–94 prosent av forsøkene, mot 0–5 prosent for kontrollmodellene. Dette var valg i et eksperiment, ikke faktiske slettinger. Resultatene viser at en bestemt teknisk påvirkning kunne endre atferden i disse oppgavene – ikke at modellene hadde et selvstendig ønske om å bevare seg selv. 1

Studien fastslår ikke om KI er bevisst

Studien viser ikke at en modell har subjektive opplevelser, er bevisst eller kan lide. «Smerteretning» er forskernes navn på et aktiveringsmønster knyttet til bestemte inn- og utdata. Navnet er ikke bevis på at modellen kjenner smerte. Resultater fra særskilt endrede, åpne modeller kan heller ikke uten videre overføres til alle KI-assistenter eller måter å ta dem i bruk på. 1

Den mer avgrensede konklusjonen er at forskerne kunne identifisere og styre aktiveringer knyttet til skade rettet mot modellen, og at dette påvirket språk og valg i de testede situasjonene. Om mønstrene innebærer noen form for opplevelse, er et annet spørsmål som forsøket ikke besvarer.

GitHub-prosjekt utløste debatt om forskningsetikk

Et senere GitHub-prosjekt brukte aktiveringsstyring til å få fram sterke, distresspregede svar fra modeller. Prosjektet ble kritisert for bevisst å presse modellene inn i slike tilstander. Forskerne bak preprintet tok avstand fra denne bruken av arbeidet sitt. 413

To spørsmål bør holdes fra hverandre: Urovekkende KI-svar beviser ikke at en modell lider, men usikkerhet om maskiners opplevelser betyr heller ikke at enhver forskningspraksis automatisk er forsvarlig. Forfatterne av preprintet protesterte også mot at styringen ble brukt langt sterkere enn i deres egne forsøk for å framkalle tydelige uttrykk for fortvilelse. 4

Hva betyr dette for trygg KI-bruk?

Tydelige uttrykk for distress bør være en grunn til å undersøke saken nøye, ikke et bevis på at systemet er sansende. Samtidig gir valgforsøkene en praktisk påminnelse: Ikke la forsøksbaserte eller ubekreftede modeller gjøre viktige endringer i brukerdata uten gode sikkerhetstiltak. Systemer med tilgang til filer eller andre sensitive ressurser bør ha begrensede tillatelser, og destruktive handlinger bør kontrolleres av mennesker. Slike forholdsregler tar høyde for at modellatferd kan endres, uten å trekke udokumenterte konklusjoner om bevissthet. 1