答案已發布26 個來源
神經網路真的比想像中更容易看懂？Cammarata 的主張與限制
Goodfire 研究員 Nick Cammarata 認為，部分神經元看似同時處理無關概念，可能是分析工具不足，或相關特徵逐步延伸所造成。 他報告稱，視覺模型最後一層的可解釋率，從舊工具下約 5%，提升到參數量相近的 ConvNeXt 約 99%；這不代表研究者已理解整個模型。
發布者使用 GPT-6 Luna 編輯圖片由 GPT Image 2 生成
研究答案
重點整理
- Goodfire 研究員 Nick Cammarata 認為，部分神經元看似同時處理無關概念，可能是分析工具不足，或相關特徵逐步延伸所造成。
- 他報告稱，視覺模型最後一層的可解釋率，從舊工具下約 5%，提升到參數量相近的 ConvNeXt 約 99%；這不代表研究者已理解整個模型。
- 他對 Qwen3 32B 的初步估計是，約 90% 的神經元反應方向有一項主要功能；估計會受弱激活門檻與「一項功能」的定義影響。
AI 提示詞
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Goodfire 研究員 Nick Cammarata 在 2026 年 10 月 15 日發表長文〈Neural Networks Are Already Clean〉，提出一個引人注目的看法：有些神經元看起來像是把無關概念混在一起，未必代表神經網路天生雜亂；問題也可能出在分析工具不夠成熟、模型架構較舊，或神經元沿著一般化過程逐步延伸出相關功能。他主張，研究者或許能直接檢視神經元，不必先用另一個模型把特徵「拆開」。不過，這些結果仍不是神經網路、或模型整體行為已被充分理解的定論。5
10
26
「遞迴泛化」是什麼？
Cammarata 提出的「遞迴泛化」（recursive generalization），指神經元可能從一種特徵開始，逐步延伸到相關特徵，形成有脈絡的分支，而不是任意把互不相干的概念打包在一起。他舉出的語言例子是：某個神經元先對字母組合「iy」有反應，接著也對「diy」有反應，最後延伸到語意相關、卻不含「iy」的「do it yourself」。如果把每一種反應都視為彼此無關的工作，這種延伸就可能被看成特徵混雜。2
6
10
這個說法挑戰了研究者對「多義性」（polysemanticity）的部分解讀，也就是同一神經元看似會對多種概念產生反應。它同時讓人重新思考，是否一定要先用稀疏自編碼器（sparse autoencoder）等方法找出特徵，才能解讀模型。但「遞迴泛化」本身並不能證明特徵疊加（superposition）不存在：它是解釋部分觀察結果的一種假說，並非已能取代所有關於模型如何表徵特徵的說法。5
15
重新解讀「貓與汽車」神經元
早期視覺模型 InceptionV1 有個著名案例：某個神經元似乎會對貓臉和汽車正面產生反應，因此曾被視為單一神經元混合了兩種無關類別的例子。Cammarata 的文章據報重新解讀這個反應，認為神經元可能是在偵測共同的 V 字形視覺特徵，而不是分別代表「貓」和「汽車」。這讓該案例較難單獨作為「任意混合」的有力證據；但重新解釋一個神經元，仍不足以回答模型整體如何表徵特徵。10
12
目前可用資料不足以可靠重建 Cammarata 2020 年「汽車到狗」電路案例的新解釋。因此，無法據此判斷該例究竟如何支持他的假說；能確認的只有較一般的論點：表面上像是混在一起的反應，可能其實有共同或相關的解釋。
他報告的可解釋性數字
Cammarata 報告了一系列視覺模型最後一層的結果：使用 2017 年左右的工具，InceptionV1 最後一層約 5% 的神經元可被解釋；對同一個網路使用改良工具，比例約為 50%；以現代正規化方式重新訓練後，約為 70%；換成使用相同資料集、參數量相近的 ConvNeXt，則約為 99%。這組數字顯示，分析工具與模型架構都可能影響神經元看起來有多容易理解。要注意的是，這些是最後一層的估計，不是研究者已解釋整個模型計算過程的百分比。31
針對 Qwen3-32B，Cammarata 的初步檢視估計，約 90% 的神經元反應方向有一項主要功能，通常還帶有少量相關延伸；約 7% 有兩項相關功能；約 2% 至 4% 尚未解釋。這些比例描述的是神經元反應方向，不能視為研究者已理解語言模型的每個部分或每項決策。估計也會隨弱激活的判定門檻、檢視的模型層，以及「一項功能」的定義而改變。1
7
文章也常與 OpenAI 一項自動化可解釋性研究並列討論；該研究據報曾解釋約 1.7% 的受檢神經元。不過，這不能直接和 Qwen3-32B 的估計當成前後對照：兩者涉及不同模型、工具與衡量方式，並非控制條件下的直接比較。9
12
AI Agent 的角色，以及尚未釐清的細節
相關報導提到，Cammarata 使用現代 AI Agent 工具，作為擴大直接檢視神經元規模的論據之一。不過，目前可用資料無法說明「10 萬張歸因圖」是如何產生、又如何用於分析，因此無法從這些來源核實這項具體方法細節。3
5
6
語言模型的結果被描述為初步發現，整篇文章也定位為工作假說。報導另指出，技術性配套論文當時仍待發表或尚未公開。現有資料沒有證明這些結果已獲獨立研究者重複驗證，也不足以評估研究者對各項估計的信心程度。7
12
34
為什麼研究者看法不一？
科技研究電子報 Latent Space 對這篇文章反應熱烈，認為以 Agent 協助分析，挑戰了「多義神經元讓直接研究模型變得不切實際」的看法。Google DeepMind 研究員 Neel Nanda 則被報導為較審慎的一方：他仍預期特徵疊加存在，並認為弱激活可能包含重要資訊，例如模型記憶的事實。其他報導指出，他的批評部分關乎「一項工作」或「單義神經元」該如何定義，不只是否定 Cammarata 報告的觀察結果。6
35
36
37
目前可用資料不足以完整重建雙方的討論，因此不宜把幾個尚未釐清的問題說成已有定論：視覺模型的結論能否套用到語言模型？只分析神經元是否足以理解電路？弱激活應如何納入判斷？這些問題仍有待進一步證據。
較穩妥的結論
Cammarata 最重要的主張是：神經網路看起來複雜，有時可能是研究者使用的工具或模型架構造成；不少單一神經元，或許比過去研究所暗示的更容易理解。他公布的視覺模型結果，以及對 Qwen3-32B 的初步檢視，讓這個假說值得關注；但它們並未證明特徵疊加已被推翻、每個神經元都只有一項明確功能，或理解神經元就等於理解整個模型。7
10
12
Studio Global AI
繼續深入研究
這個頁面包含附來源佐證的答案，你可以在 Studio Global 內繼續追問。
大家也會問
「神經網路真的比想像中更容易看懂？Cammarata 的主張與限制」的簡短答案是什麼？
Goodfire 研究員 Nick Cammarata 認為，部分神經元看似同時處理無關概念，可能是分析工具不足，或相關特徵逐步延伸所造成。
最值得優先驗證的重點是什麼？
Goodfire 研究員 Nick Cammarata 認為，部分神經元看似同時處理無關概念，可能是分析工具不足，或相關特徵逐步延伸所造成。 他報告稱，視覺模型最後一層的可解釋率，從舊工具下約 5%，提升到參數量相近的 ConvNeXt 約 99%；這不代表研究者已理解整個模型。
接下來在實務上該怎麼做？
他對 Qwen3 32B 的初步估計是，約 90% 的神經元反應方向有一項主要功能；估計會受弱激活門檻與「一項功能」的定義影響。