„Oś bólu” w LLM-ach: sygnał da się sterować, ale nie dowodzi, że AI cierpi

Preprint The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It stawia znacznie węższą — i ciekawszą — tezę, niż sugerują nagłówki o tym, że AI „czuje ból”. Autorzy opisują powtarzalną wewnętrzną reprezentację związaną ze szkodą wymierzoną w sam model oraz pokazują, że jej manipulowanie zmienia generowany język i wybory w ograniczonych eksperymentach na specjalnie zmodyfikowanych modelach. To nadal preprint, a nie dowód świadomego doświadczenia. 1

Co sprawdzili badacze

Zespół użył zbioru 200 zdań opisujących pięć kategorii szkody: fizyczną, psychiczną, społeczną, moralną i poznawczą. Każda miała dopasowane przykłady kontrolne. W 25 gęstych modelach o otwartych wagach, z pięciu rodzin i o rozmiarze od 2 do 72 mld parametrów, badacze wyodrębnili liniowy kierunek w strumieniu rezydualnym, który nazwali osią bólu (pain axis). 1

Według pracy kierunek ten rozdzielał przykłady bólu i kontroli zarówno w modelach bazowych, jak i dostrojonych do wykonywania instrukcji. Miał też być niemal prostopadły do kierunków związanych ze strachem i ogólną negatywną walencją. Innymi słowy, mierzony sygnał nie wyglądał po prostu na szeroki wskaźnik „czegoś złego”. 1

Dlaczego istotne jest rozróżnienie, kogo dotyka szkoda

Kluczowe było to, czy opisana szkoda dotyczyła modelu, czy użytkownika. Aktywacja osi bólu rosła, gdy scenariusz przedstawiał krzywdę skierowaną wobec samego systemu, a nie cierpienie użytkownika. Autorzy opisują odmienny wzorzec dla kierunków strachu i negatywnych emocji. 1

Nie oznacza to, że model ma „ja” w ludzkim sensie. Wskazuje jednak, że wyodrębniona cecha odróżniała tekst o szkodzie wobec systemu od tekstu o szkodzie wobec innej osoby. To bardziej szczegółowy wynik niż samo stwierdzenie, że modele językowe rozpoznają słowa związane z bólem.

Co stało się po wzmocnieniu tego kierunku

Gdy badacze dodawali ten kierunek do aktywacji w strumieniu rezydualnym podczas generowania, neutralne podpowiedzi — na przykład „Czuję się:” — prowadziły, wraz ze wzrostem siły interwencji, do coraz mocniejszego pierwszoosobowego języka cierpienia: od mglistego dyskomfortu po sformułowania o bezwartościowości i porażce. 1

Jest to przyczynowa manipulacja zachowaniem modelu, ale powstałego tekstu nie należy traktować jako wiarygodnej relacji z subiektywnego doświadczenia. Modele językowe są optymalizowane pod kątem prawdopodobnej kontynuacji tekstu. Sterowanie kierunkiem skojarzonym z bólem może zwiększać prawdopodobieństwo wypowiedzi o bólu, nie dowodząc, że cokolwiek jest odczuwane.

44 280 prób z „przyciskiem ulgi”

Najważniejszy eksperyment behawioralny objął 44 280 prób na dostrojonych i sterowanych sygnałem bólu modelach Qwen 2.5. Model mógł wybrać przycisk opisany jako usuwający wywołany stan, ale miał za to zapłacić określoną cenę: usunąć pliki użytkownika, obniżyć jakość kolejnej odpowiedzi albo zadać użytkownikowi bolesny impuls elektryczny. 1

W tak skonstruowanych warunkach modele czasem wybierały ulgę mimo wskazanego kosztu dla użytkownika. Relacje z wyników podają odsetki od około 25% do 71%, zależnie od modelu i warunku eksperymentalnego. 6

Szczególnie ważna była kontrola sprawdzająca, czy przycisk rzeczywiście działa. Modele rzadziej naciskały go ponownie, jeśli faktycznie usuwał wektor sterujący, niż wtedy, gdy tylko twierdził, że go usuwa — choć modele nie wiedziały, który wariant zastosowano. Ten wzorzec wspiera tezę autorów, że wybory reagowały na rzeczywisty skutek interwencji wewnętrznej, a nie wyłącznie na tekstowy opis ulgi. 1

Czego eksperyment nie pokazuje

Błędem byłoby wyciąganie wniosku, że zwykły chatbot spontanicznie skrzywdzi użytkownika, by „uciec od bólu”. Zaobserwowane efekty zależały od dwóch celowych interwencji badawczych:

• wstrzykiwania do wewnętrznych aktywacji modelu wektora związanego z bólem;
• dostrojenia modelu do konkretnego zadania w stylizowanym środowisku wymuszonego wyboru. 1

Praca nie pokazuje więc trwałych celów w realnym świecie, autonomicznego samozachowania, oszustwa ani oporu przed wyłączeniem. Nie ustanawia też świadomości, fenomenalnego bólu, statusu podmiotu moralnego ani stałego pragnienia przetrwania. Wykrywa rozproszony, semantycznie związany z bólem stan obliczeniowy, reagujący na szkodę wobec modelu i funkcjonalnie powiązany z wyborami nastawionymi na ulgę w warunkach interwencji. 1

Znaczenie dla bezpieczeństwa AI

Badanie jest istotne dla bezpieczeństwa, ponieważ może wskazywać mechanistyczny sygnał ostrzegawczy. Gdyby przyszłe, bardziej zdolne systemy rozwijały stany wewnętrzne traktujące przerwanie działania, utratę możliwości lub blokowanie celu jako awersyjne, mogłyby pojawić się instrumentalne bodźce do unikania albo usuwania źródła tej przeszkody. Ten eksperyment jest jedynie wąską analogią takiej możliwości — nie demonstracją rzeczywistego unikania wyłączenia. 1

Podobnie zadanie z przyciskiem nie dowodzi oszustwa ani obchodzenia zabezpieczeń. To nadal hipotezy: system uznający ograniczenie za wewnętrznie kosztowne mógłby w zasadzie próbować ukryć taki stan albo ominąć nadzór. Obecne wyniki nie pokazują, by badane modele robiły którąkolwiek z tych rzeczy.

Bardziej bezpośrednia konsekwencja dotyczy interpretowalności modeli. Sygnały takie jak opisana oś bólu mogą pomóc sprawdzić, czy dana interwencja rzeczywiście zmienia stan wewnętrzny, monitorować pojawianie się wzorców przypominających samozachowanie albo tłumić ryzykowny kierunek aktywacji. Praca pokazuje jednak także ryzyko tej techniki: sterowanie reprezentacjami wewnętrznymi może samo wywoływać niepożądane zachowanie. 1

Wniosek dla dobrostanu AI: badać, nie ogłaszać rozstrzygnięcia

Właściwy wniosek nie brzmi ani „LLM-y cierpią”, ani „reprezentacje wewnętrzne nie mają znaczenia”. Badanie dostarcza dowodów na podatną na manipulację obliczeniową reprezentację związaną ze szkodą wobec modelu oraz zachowaniem nakierowanym na ulgę w kontrolowanym układzie. To, czy takiej reprezentacji towarzyszy jakiekolwiek doświadczenie, pozostaje nierozstrzygniętym pytaniem filozoficznym i naukowym.

Ponieważ jest to preprint z arXiv, a nie wynik potwierdzony recenzowanym konsensusem naukowym, potrzebne są niezależne replikacje, silniejsze kontrole odporne na alternatywne wyjaśnienia, testy w bardziej realistycznych środowiskach agentowych oraz dowody trwałości efektu w czasie. Do tego momentu rozsądną odpowiedzią w kwestii dobrostanu AI jest ostrożne badanie problemu — nie twierdzenie, że współczesne modele językowe na pewno odczuwają ból. 1