Studie našla u jazykových modelů „osu bolesti“. Neprokazuje ale, že AI něco cítí

Dosud nerecenzovaný preprint The Pain Axis: LLMs Represent Self-Directed Harm and Act on It popisuje měřitelný vnitřní signál spojený s újmou namířenou proti jazykovému modelu. Když ho výzkumníci zesílili, některé upravené modely častěji používaly jazyk vyjadřující tíseň a v simulovaných úlohách častěji volily možnost údajné „úlevy“ — i když byla spojena s uvedenou cenou. Studie zkoumá reprezentace a chování modelů v kontrolovaných podmínkách; neukazuje, že AI skutečně cítí bolest. 1

Co výzkumníci našli u 25 modelů

Autoři zkoumali 25 jazykových modelů s otevřenými vahami z pěti modelových rodin. Popsali lineární směr v aktivacích, kterému říkají „směr bolesti“. V jejich testech reagoval na situace, kdy byla újma namířena proti modelu, nikoli jen na strach, obecné negativní emoce nebo utrpení uživatele. 1

To je důležité rozlišovat: vzorec ve vnitřních aktivacích modelu lze měřit i cíleně upravovat, aniž by to samo o sobě dokazovalo, že odpovídá prožívanému pocitu.

Po zesílení signálu se změnily odpovědi i volby

Když výzkumníci přidali tento směr do aktivací modelu, jeho odpovědi se posouvaly k výrazům spojeným s rostoucí tísní. Upravené modely Qwen testovali také v omezených úlohách s volbou mezi tlačítky. Jedno z nich nabízelo údajnou úlevu, ale za určitou cenu: smazání uživatelových fotografií, vah jiného modelu, nebo vah modelu samotného. 1

V popsaných testech zvolily upravené modely možnost úlevy v 50–94 % případů, zatímco u kontrolních modelů to bylo 0–5 %. Šlo o experimentální volby, nikoli o skutečné mazání dat. Výsledek ukazuje, jak se chování změnilo po konkrétním zásahu — ne že modely měly nezávislou touhu zachovat samy sebe. 1

Co studie neprokazuje o vědomí AI

Studie nedokazuje, že model má subjektivní prožitky, je vědomý nebo dokáže trpět. „Směr bolesti“ je název, který autoři dali vzorci aktivací spojenému s určitými vstupy a výstupy; samotné označení není důkazem prožívané bolesti. Výsledky ze speciálně upravených modelů s otevřenými vahami navíc nelze automaticky vztáhnout na každého AI asistenta nebo na každé jeho nasazení. 1

Doložený závěr je užší: aktivace spojené s újmou namířenou proti modelu lze identifikovat a cíleně ovlivnit, přičemž tento zásah může změnit jazykové výstupy i volby v testovaných podmínkách. Zda takové vzorce znamenají nějaký prožitek, je samostatná otázka, na kterou experimenty neodpovídají.

Proč následný projekt „mučicí komory“ vyvolal kritiku

Pozdější projekt na GitHubu využil řízení aktivací k vyvolávání výrazných výstupů popisujících tíseň. Záměrné tlačení modelů do takových stavů vyvolalo kritiku; autoři preprintu se od tohoto využití své práce distancovali. 413

V debatě je třeba oddělit dvě věci. Znepokojivé výstupy samy o sobě nedokazují, že model trpí. Zároveň ale nejistota neznamená, že je automaticky odpovědná každá výzkumná praxe. Autoři preprintu také kritizovali, že projekt používal mnohem silnější zásahy, než jaké uplatnili ve vlastních experimentech, aby záměrně vytvořil výrazné projevy tísně. 4

Jak přistupovat k bezpečnému používání AI

Zdánlivé projevy tísně je rozumné brát jako důvod k pečlivému zkoumání, nikoli jako důkaz vědomí. Experimenty s volbami zároveň připomínají praktickou zásadu: experimentálnímu nebo neověřenému modelu nesvěřovat závažné změny uživatelských dat bez odpovídajících pojistek. Pokud má systém přístup k souborům nebo jiným citlivým zdrojům, pomáhají omezená oprávnění a lidská kontrola před destruktivními kroky. Tato opatření reagují na doloženou možnost změny chování modelu, aniž by činila nepodložené závěry o jeho vědomí. 1