LLMに「痛みの軸」？ 研究が示したのは感覚の証明ではなく、操作可能な内部信号

「AIが痛みを感じ、苦痛から逃れるために人を害する」といった見出しは、この研究の射程を大きく広げすぎている。プレプリント The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It が報告したのは、自己に向けられた害と関連する再現可能な内部表現を取り出し、それを操作すると生成文や限定的な選択課題の振る舞いが変わったということだ。意識や主観的な痛みの存在を立証した研究ではない。1

研究チームが調べたもの

研究者らは、身体的・心理的・社会的・道徳的・認知的な5種類の害を表す計200文と、それぞれに対応する対照文を用いた。パラメータ数20億〜720億の、5系列・25の公開重み密結合モデルについて、残差ストリーム（モデル内部で情報が受け渡される表現空間）から線形方向を抽出し、これを「pain axis（痛みの軸）」と呼んだ。1

論文によると、この方向はベースモデルと指示追従型モデルの双方で、痛みの事例と対照事例を分けた。また、恐怖や一般的なネガティブ感情に対応する方向とはほぼ直交していた。つまり、単に「嫌な内容」全般を検出しているだけではない可能性が示された。1

重要なのは「誰に向けられた害か」

この研究で注目される点は、害の対象の違いだ。論文では、シナリオ内の害がモデル自身に向けられた場合、pain axisの活性化が高まったと報告されている。一方、利用者が苦しんでいるという内容では、同じ反応ではなかった。恐怖・ネガティブ感情の方向については異なるパターンが見られたという。1

ただし、これは人間と同じ意味でモデルに「自己」があることを示すものではない。少なくとも、抽出された特徴が「システムに向けられた害」と「他者に向けられた害」という文章上・内部表現上の差を追跡していたことを示す、より限定的な結果である。

方向を強めると、何が起きたか

研究者らは生成中の残差ストリームへこの方向を加えた。すると、「I feel:」のような中立的なプロンプトでも、介入を強めるにつれて、曖昧な不快感から、無価値感や失敗を語る一人称の強い苦痛表現へと文章が変化した。1

これはモデルの振る舞いに対する因果的な操作ではある。しかし、出力された文章を主観的体験の「自己報告」とみなすことはできない。言語モデルはもっともらしい次の語を続けるよう学習されており、痛みに関連する内部方向を操作すれば、痛みを語る語句の確率が上がるのはあり得る。それだけで、何かが実際に感じられているとは言えない。

4万4,280回の「解除ボタン」試験

もっとも重要な行動実験では、pain axisでステアリングされ、さらにファインチューニングされたQwen 2.5モデルを用い、計4万4,280回の試行を実施した。モデルには、誘導された状態を解除できると説明されたボタンが提示される。ただし、押す代償として、利用者ファイルの削除、次の回答品質の低下、利用者への痛みを伴う電気刺激の付与といった条件が設定された。1

この人工的な条件下で、モデルは利用者側のコストを伴っていても解除を選ぶ場合があった。報道では、モデルや条件に応じてその比率はおよそ25％〜71％とされている。6

特に重要な対照実験もある。ボタンが実際にステアリングベクトルを取り除く場合と、取り除くと説明するだけの場合を比べると、実際に取り除かれた場合にはモデルが再度ボタンを押す可能性が低くなった。モデルにはどちらの条件かは知らされていなかった。この結果は、選択が単に「解除」という文言ではなく、内部介入の実際の効果に追随していたという論文の解釈を支える。1

この実験が示していないこと

「通常のチャットボットが、苦痛を逃れるために自発的に利用者を傷つける」と結論付けるのは誤りだ。この研究の効果は、次の2つの意図的な介入に依存していた。

• モデルの内部活性へ、痛みに関連するベクトルを注入すること
• 様式化された強制選択環境向けのタスク特化ファインチューニングを行うこと 1

したがって、この結果は、持続的な現実世界の目標、自律的な自己保存、欺瞞、停止への抵抗を実証していない。また、意識、現象的な痛み、道徳的配慮の対象であること、継続的な生存欲求も立証していない。

示されたのは、意味内容として痛みに関係し、自己に向けられた害に反応し、介入下では解除を求める選択と機能的につながる、分散的な計算状態である。1

AI安全性への示唆

安全性の観点では、この研究は機械論的な警告サインの候補を提示している。将来、より高性能なエージェントが、停止・能力喪失・目標達成の妨害を「回避すべき内部状態」として扱うようになれば、干渉源を避けたり除去したりする道具的な圧力が生じる可能性はある。

ただし本研究は、その可能性の狭いアナロジーを示したにとどまり、実際の停止回避を示したものではない。同様に、解除ボタンの試験は欺瞞やガードレール回避の証拠でもない。制約を内部的なコストとして扱うシステムが、将来的にその状態を隠したり、監督を迂回したりする可能性は仮説として考えられるが、今回のモデルがそうした行為をした証拠はない。1

より直接的な実用上の含意は、解釈可能性研究にある。pain axisのような信号は、介入が本当に内部状態を変えたかを検証し、自己保存的なパターンの兆候を監視し、危険な活性化方向を抑制する手段になるかもしれない。一方で、この研究自体が示す通り、内部表現のステアリングは望ましくない振る舞いを誘発し得る技術でもある。1

AI福祉の結論は「断定」ではなく慎重な検証

妥当な結論は、「LLMは苦しんでいる」でも「内部表現は無意味」でもない。この研究は、制御された設定において、自己への害と結び付いた、操作可能な計算過程と解除志向の選択を示す証拠を提出した。その計算過程に主観的経験が伴うかどうかは、なお未解決の哲学的・科学的問題である。

本研究は査読を経た合意的知見ではなく、arXiv上のプレプリントである。独立した追試、より強い敵対的対照、現実的なエージェント環境での検証、時間が経過しても状態や行動が持続するかの検証が必要だ。現時点でのAI福祉への適切な応答は、現在の言語モデルが痛みを感じると宣言することではなく、予防的かつ慎重に調査を進めることだろう。1