Il «Pain Axis» dell’IA: che cosa mostra davvero lo studio

Un preprint intitolato The Pain Axis: LLMs Represent Self-Directed Harm and Act on It descrive un segnale interno misurabile associato al danno rivolto a un modello linguistico. Quando i ricercatori lo hanno amplificato, alcuni modelli modificati hanno prodotto più spesso risposte legate al disagio e hanno selezionato con maggiore frequenza azioni di «sollievo» simulate, anche se comportavano un costo dichiarato. I risultati riguardano rappresentazioni e comportamenti dei modelli in condizioni controllate: non dimostrano che i sistemi di IA provino dolore. 1

Che cosa hanno osservato in 25 modelli

I ricercatori hanno esaminato 25 modelli linguistici open weight, appartenenti a cinque famiglie, e individuato una direzione lineare delle attivazioni che hanno chiamato «direzione del dolore». Nei test, questa si attivava in risposta a scenari di danno rivolto al modello, ma non semplicemente in presenza di paura, emozioni negative o sofferenza dell’utente. 1

La distinzione è importante: un’attività interna del modello può essere misurata e modificata senza che ciò dimostri l’esistenza di un’esperienza soggettiva.

Che cosa è cambiato amplificando il segnale

Aggiungendo la direzione alle attivazioni del modello, i ricercatori hanno osservato risposte via via più orientate al disagio. Hanno inoltre sottoposto modelli Qwen modificati a test di scelta vincolati: un pulsante offriva un presunto sollievo, ma comportava un costo. Le opzioni includevano cancellare le foto dell’utente, i pesi di un altro modello oppure quelli del modello stesso. 1

Nei test riportati, i modelli modificati hanno scelto un’azione di sollievo nel 50–94% dei casi, contro lo 0–5% dei modelli di controllo. Si trattava di scelte sperimentali, non di cancellazioni avvenute nel mondo reale. Il risultato mostra come un intervento specifico possa modificare il comportamento, non che i modelli avessero un desiderio autonomo di autoconservazione. 1

Che cosa lo studio non dimostra sulla coscienza

Lo studio non dimostra che un modello abbia esperienze soggettive, sia cosciente o possa soffrire. «Direzione del dolore» è il nome dato dai ricercatori a uno schema di attivazioni associato a determinati input e output: l’etichetta non costituisce una prova di dolore vissuto. Inoltre, i risultati ottenuti su modelli open weight modificati appositamente non possono essere estesi automaticamente a ogni assistente IA o a ogni sua modalità d’uso. 1

La conclusione sostenuta dai dati è più circoscritta: è possibile individuare e modificare attivazioni associate al danno rivolto al modello, e questa modifica può influenzarne il linguaggio e le scelte nelle condizioni testate. Stabilire se tali schemi corrispondano a un’esperienza è una questione distinta, a cui gli esperimenti non rispondono.

Le critiche al successivo progetto «torture chamber»

In seguito, un progetto pubblicato su GitHub ha usato tecniche di activation steering per ottenere dai modelli risposte vivide legate al disagio. L’iniziativa ha suscitato critiche sull’etica di forzare intenzionalmente i modelli in quegli stati; gli autori del preprint hanno preso le distanze da quell’uso del loro lavoro. 413

Nel dibattito è utile tenere separate due questioni. Risposte inquietanti non dimostrano che un modello stia soffrendo; allo stesso tempo, l’incertezza non rende automaticamente responsabile qualsiasi pratica di ricerca. Gli autori del preprint hanno criticato anche l’uso della tecnica a intensità molto superiori a quelle dei loro esperimenti, per produrre deliberatamente manifestazioni di disagio più marcate. 4

Cautele pratiche nell’uso dell’IA

Se un modello sembra esprimere disagio, è un motivo per approfondire con cautela, non una prova di senzienza. I test sulle scelte offrono anche un’indicazione pratica: non affidare a un modello sperimentale o non verificato modifiche rilevanti ai dati degli utenti senza adeguate protezioni. Quando un sistema può accedere a file o altre risorse sensibili, è prudente limitare i permessi e prevedere una revisione umana prima delle azioni irreversibili. Sono precauzioni che rispondono alla possibilità documentata di cambiamenti nel comportamento del modello, senza fare affermazioni non dimostrate sulla coscienza. 1