Goodfireの研究者Nick Cammarata氏は、2026年10月15日に公開したエッセイ「Neural Networks Are Already Clean」で、ニューラルネットの内部は従来考えられていたよりも読み解きやすい可能性があると論じています。複数の無関係な概念を一つのニューロンが担っているように見える場合でも、その原因はモデル内部の根本的な「もつれ」ではなく、分析手法の限界や古いモデル構造、関連する特徴への汎化かもしれない、という主張です。 51026

Cammarata氏は、別のモデルを使って特徴をいったん「ほどく」のではなく、ニューロンを直接調べる方法を提案しています。報告された結果は興味深いものですが、ニューラルネットやモデル全体の振る舞いがすでに解明された、という意味ではありません。

「再帰的汎化」とは

Cammarata氏の仮説では、ニューロンの反応は無関係な概念の寄せ集めとは限りません。ある特徴への反応から、関連する特徴へと枝分かれすることがあります。同氏が挙げる言語モデルの例では、「iy」という文字列に反応するニューロンが、「diy」にも反応し、さらに元の文字列を含まない「do it yourself」にまで反応を広げるとされます。こうした広がりを一つひとつ別の役割と見なすと、複数の特徴が混ざっているように見える可能性がある、という説明です。 2610

この考え方は、一つのニューロンが複数の概念に反応するように見える現象、いわゆる「多義性（polysemanticity）」の解釈に異議を唱えます。また、モデルを理解するには、スパース・オートエンコーダーのような別の手法で特徴を先に抽出しなければならないのか、という問いも投げかけています。

ただし、再帰的汎化の仮説だけで「重ね合わせ（superposition）」が存在しないと証明されたわけではありません。これは観察された反応の一部を説明しうる見方であり、モデルが特徴をどう表現するかについてのあらゆる説明を置き換える決定的な結論ではありません。 515

有名な「猫と車」のニューロンを捉え直す

画像認識モデルInceptionV1では、猫の顔と車の前面の両方に反応するように見えるニューロンが知られていました。猫と車という無関係に見える対象を一つのニューロンがまとめて扱う例として、特徴の混在を示すものと解釈されてきました。

Cammarata氏のエッセイについての報道では、この反応は「猫」と「車」を別々に表しているのではなく、両者に見られるV字型の視覚的特徴を検出している、と再解釈されています。この説明が成り立つなら、少なくともこの例は無関係な概念が任意に混ざる証拠としては決定的ではありません。ただし、一つのニューロンの解釈が変わったからといって、モデル全体で特徴がどう表現されているかまで決着するわけではありません。 1012

今回参照できる資料には、Cammarata氏が2020年に扱った「車から犬へ」とされる回路例について、改めてどのような説明を示したのかを確かめるだけの情報がありません。その例が仮説をどの程度支えるかは、ここでは評価できません。

報告された「解釈可能性」の割合

Cammarata氏は、視覚モデルの最終層について、次のような結果を報告しています。

• InceptionV1は、2017年当時のツールでは最終層の約5％が解釈可能
• 同じネットワークに改善したツールを使うと約50％
• 最新の正則化手法を用いて再学習すると約70％
• 同じデータセットで学習した、パラメーター数が同程度のConvNeXtでは約99％

これらの数字は、分析ツールとモデルのアーキテクチャの両方が、ニューロンの読みやすさに影響しうることを示唆しています。ただし、あくまで最終層についての解釈結果であり、モデルの計算全体の何％を説明できたかを表す数字ではありません。 31

大規模言語モデルQwen3-32Bについては、ニューロンの反応方向（response poles）の約90％に主な役割が一つあり、多くは小さな関連特徴への広がりを伴うとする暫定的な評価を示しています。約7％は関連する二つの役割を持ち、約2～4％は説明できていないとされます。これはニューロンの反応方向についての推定であり、モデルのあらゆる構成要素や判断を理解できたという意味ではありません。また、弱い活性化をどこで区切るか、どの層を調べるか、「一つの役割」をどう定義するかによって割合は変わります。 17

エッセイは、OpenAIが実施した自動解釈可能性のプロジェクトとも比較されています。同プロジェクトでは、調べたニューロンの約1.7％を説明できたと報じられています。しかし、これはQwen3-32Bの推定値と同じモデル、同じツール、同じ尺度による比較ではありません。解釈可能性が特定の割合だけ向上したことを示す、統制された比較として読むべきではありません。 912

AIエージェントの役割と、資料だけでは分からないこと

エッセイを紹介する報道では、Cammarata氏が現代のエージェント型ツールを用い、より大規模にニューロンを直接調べられるようになったことも主張の背景として挙げられています。一方、10万件のアトリビューション・グラフをどのように作成し、分析にどう使ったのかは、参照できる資料から確認できません。その具体的な手法については、ここでは検証できない状態です。 356

言語モデルについての結果は暫定的なものとされ、エッセイ自体も作業仮説として紹介されています。技術的な詳細をまとめた付随論文も、当時は未公開、または公開前と報じられていました。個々の推定値に対する研究者本人の確信度や、独立した追試の状況を評価するのに十分な情報は、参照資料にはありません。 71234

研究者の反応が分かれる理由

Latent Spaceはこのエッセイを前向きに紹介し、エージェントを使った分析が「多義的なニューロンは直接調べるには複雑すぎる」という考えに挑戦すると位置づけました。一方、Google DeepMindのNeel Nanda氏はより慎重な立場と報じられています。Nanda氏は重ね合わせが存在するという見方を維持し、弱い活性化にも、記憶された事実など意味のある情報が含まれる可能性があると指摘しています。また、異論の一部は観察結果そのものよりも、「一つの役割」や「単義的なニューロン」をどう定義するかに関するものだとも伝えられています。 6353637

ただし、参照できる資料には両者の議論の全容が示されていません。画像モデルでの結論を言語モデルにも当てはめられるのか、ニューロン単位の分析だけで回路を理解できるのかといった論点について、どこまで合意・対立しているのかを断定することはできません。報告された割合だけで、これらの問いに決着がついたと考えるのは早計です。

慎重に受け止めるなら

Cammarata氏の主張の核心は、ニューラルネットの複雑さに見えるものの一部は、分析に使うツールやモデルの設計に由来する可能性があり、個々のニューロンは従来の研究が示唆したより読み解きやすいかもしれない、という点です。視覚モデルの報告値と、Qwen3-32Bについての暫定的な調査結果は、その仮説を検討する価値のあるものにしています。

一方で、重ね合わせが否定されたわけでも、すべてのニューロンに明確な役割が一つずつあると確認されたわけでもありません。ニューロンを理解することと、モデル全体を理解することも同じではありません。現時点では、解釈可能性への見通しを前向きに捉え直す提案として注目しつつ、数字の範囲と未解決の論点を見失わないことが大切です。 71012

Goodfireの研究者Nick Cammarata氏は、2026年10月15日に公開したエッセイ「Neural Networks Are Already Clean」で、ニューラルネットの内部は従来考えられていたよりも読み解きやすい可能性があると論じています。複数の無関係な概念を一つのニューロンが担っているように見える場合でも、その原因はモデル内部の根本的な「もつれ」ではなく、分析手法の限界や古いモデル構造、関連する特徴への汎化かもしれない、という主張です。 51026

Cammarata氏は、別のモデルを使って特徴をいったん「ほどく」のではなく、ニューロンを直接調べる方法を提案しています。報告された結果は興味深いものですが、ニューラルネットやモデル全体の振る舞いがすでに解明された、という意味ではありません。

「再帰的汎化」とは

Cammarata氏の仮説では、ニューロンの反応は無関係な概念の寄せ集めとは限りません。ある特徴への反応から、関連する特徴へと枝分かれすることがあります。同氏が挙げる言語モデルの例では、「iy」という文字列に反応するニューロンが、「diy」にも反応し、さらに元の文字列を含まない「do it yourself」にまで反応を広げるとされます。こうした広がりを一つひとつ別の役割と見なすと、複数の特徴が混ざっているように見える可能性がある、という説明です。 2610

この考え方は、一つのニューロンが複数の概念に反応するように見える現象、いわゆる「多義性（polysemanticity）」の解釈に異議を唱えます。また、モデルを理解するには、スパース・オートエンコーダーのような別の手法で特徴を先に抽出しなければならないのか、という問いも投げかけています。

ただし、再帰的汎化の仮説だけで「重ね合わせ（superposition）」が存在しないと証明されたわけではありません。これは観察された反応の一部を説明しうる見方であり、モデルが特徴をどう表現するかについてのあらゆる説明を置き換える決定的な結論ではありません。 515

有名な「猫と車」のニューロンを捉え直す

画像認識モデルInceptionV1では、猫の顔と車の前面の両方に反応するように見えるニューロンが知られていました。猫と車という無関係に見える対象を一つのニューロンがまとめて扱う例として、特徴の混在を示すものと解釈されてきました。

Cammarata氏のエッセイについての報道では、この反応は「猫」と「車」を別々に表しているのではなく、両者に見られるV字型の視覚的特徴を検出している、と再解釈されています。この説明が成り立つなら、少なくともこの例は無関係な概念が任意に混ざる証拠としては決定的ではありません。ただし、一つのニューロンの解釈が変わったからといって、モデル全体で特徴がどう表現されているかまで決着するわけではありません。 1012

今回参照できる資料には、Cammarata氏が2020年に扱った「車から犬へ」とされる回路例について、改めてどのような説明を示したのかを確かめるだけの情報がありません。その例が仮説をどの程度支えるかは、ここでは評価できません。

報告された「解釈可能性」の割合

Cammarata氏は、視覚モデルの最終層について、次のような結果を報告しています。

• InceptionV1は、2017年当時のツールでは最終層の約5％が解釈可能
• 同じネットワークに改善したツールを使うと約50％
• 最新の正則化手法を用いて再学習すると約70％
• 同じデータセットで学習した、パラメーター数が同程度のConvNeXtでは約99％

これらの数字は、分析ツールとモデルのアーキテクチャの両方が、ニューロンの読みやすさに影響しうることを示唆しています。ただし、あくまで最終層についての解釈結果であり、モデルの計算全体の何％を説明できたかを表す数字ではありません。 31

大規模言語モデルQwen3-32Bについては、ニューロンの反応方向（response poles）の約90％に主な役割が一つあり、多くは小さな関連特徴への広がりを伴うとする暫定的な評価を示しています。約7％は関連する二つの役割を持ち、約2～4％は説明できていないとされます。これはニューロンの反応方向についての推定であり、モデルのあらゆる構成要素や判断を理解できたという意味ではありません。また、弱い活性化をどこで区切るか、どの層を調べるか、「一つの役割」をどう定義するかによって割合は変わります。 17

エッセイは、OpenAIが実施した自動解釈可能性のプロジェクトとも比較されています。同プロジェクトでは、調べたニューロンの約1.7％を説明できたと報じられています。しかし、これはQwen3-32Bの推定値と同じモデル、同じツール、同じ尺度による比較ではありません。解釈可能性が特定の割合だけ向上したことを示す、統制された比較として読むべきではありません。 912

AIエージェントの役割と、資料だけでは分からないこと

エッセイを紹介する報道では、Cammarata氏が現代のエージェント型ツールを用い、より大規模にニューロンを直接調べられるようになったことも主張の背景として挙げられています。一方、10万件のアトリビューション・グラフをどのように作成し、分析にどう使ったのかは、参照できる資料から確認できません。その具体的な手法については、ここでは検証できない状態です。 356

言語モデルについての結果は暫定的なものとされ、エッセイ自体も作業仮説として紹介されています。技術的な詳細をまとめた付随論文も、当時は未公開、または公開前と報じられていました。個々の推定値に対する研究者本人の確信度や、独立した追試の状況を評価するのに十分な情報は、参照資料にはありません。 71234

研究者の反応が分かれる理由

Latent Spaceはこのエッセイを前向きに紹介し、エージェントを使った分析が「多義的なニューロンは直接調べるには複雑すぎる」という考えに挑戦すると位置づけました。一方、Google DeepMindのNeel Nanda氏はより慎重な立場と報じられています。Nanda氏は重ね合わせが存在するという見方を維持し、弱い活性化にも、記憶された事実など意味のある情報が含まれる可能性があると指摘しています。また、異論の一部は観察結果そのものよりも、「一つの役割」や「単義的なニューロン」をどう定義するかに関するものだとも伝えられています。 6353637

ただし、参照できる資料には両者の議論の全容が示されていません。画像モデルでの結論を言語モデルにも当てはめられるのか、ニューロン単位の分析だけで回路を理解できるのかといった論点について、どこまで合意・対立しているのかを断定することはできません。報告された割合だけで、これらの問いに決着がついたと考えるのは早計です。

慎重に受け止めるなら

Cammarata氏の主張の核心は、ニューラルネットの複雑さに見えるものの一部は、分析に使うツールやモデルの設計に由来する可能性があり、個々のニューロンは従来の研究が示唆したより読み解きやすいかもしれない、という点です。視覚モデルの報告値と、Qwen3-32Bについての暫定的な調査結果は、その仮説を検討する価値のあるものにしています。

一方で、重ね合わせが否定されたわけでも、すべてのニューロンに明確な役割が一つずつあると確認されたわけでもありません。ニューロンを理解することと、モデル全体を理解することも同じではありません。現時点では、解釈可能性への見通しを前向きに捉え直す提案として注目しつつ、数字の範囲と未解決の論点を見失わないことが大切です。 71012