AntwortenVeröffentlicht26 Quellen
Sind neuronale Netze leichter zu verstehen als gedacht?
Goodfire Forscher Nick Cammarata vermutet, dass bessere Analysewerkzeuge und gewöhnliche Verallgemeinerung einen Teil der vermeintlichen Komplexität neuronaler Netze erklären. Für Bildmodelle berichtet er von rund 5 Prozent interpretierbaren Neuronen mit älteren Werkzeugen bis zu etwa 99 Prozent in einem ConvNeXt gl...
Veröffentlicht vonBearbeitet mit GPT-6 LunaBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Goodfire Forscher Nick Cammarata vermutet, dass bessere Analysewerkzeuge und gewöhnliche Verallgemeinerung einen Teil der vermeintlichen Komplexität neuronaler Netze erklären.
- Für Bildmodelle berichtet er von rund 5 Prozent interpretierbaren Neuronen mit älteren Werkzeugen bis zu etwa 99 Prozent in einem ConvNeXt gleicher Größe.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Nick Cammarata, Forscher beim Interpretierbarkeitslabor Goodfire, stellt in seinem Essay „Neural Networks Are Already Clean“ vom 15. Oktober 2026 eine zugespitzte These auf: Manche Neuronen, die auf den ersten Blick auf völlig unterschiedliche Dinge reagieren, könnten weniger rätselhaft sein als gedacht. Der Grund dafür seien zum Teil veraltete Analysewerkzeuge, ältere Modellarchitekturen oder verwandte Merkmale, die sich durch gewöhnliche Verallgemeinerung verzweigen. Cammarata meint, Forscher könnten Neuronen oft direkt untersuchen, statt sie zunächst mit einem weiteren Modell zu „entwirren“. Seine Ergebnisse sind ermutigend, beweisen aber nicht, dass neuronale Netze oder ihr Verhalten insgesamt bereits verstanden sind. 5
10
26
Was Cammarata mit „rekursiver Verallgemeinerung“ meint
Cammaratas Hypothese: Die Reaktionen eines Neurons können sich von einem Merkmal auf verwandte Merkmale ausweiten. So entsteht eine Art Verästelung – nicht unbedingt ein willkürliches Bündel unverbundener Konzepte. Ein angeführtes Beispiel aus einem Sprachmodell beginnt mit einem Neuron, das auf die Buchstabenfolge „iy“ reagiert. Es reagiert später auch auf „diy“ und schließlich auf „do it yourself“ – eine Formulierung, die zwar inhaltlich verwandt ist, aber die ursprüngliche Buchstabenfolge nicht enthält. Wird jede dieser Reaktionen als eigenständige, unabhängige Funktion gewertet, kann das wie eine Vermischung verschiedener Merkmale aussehen. 2
6
10
Diese Deutung stellt eine verbreitete Lesart der sogenannten Polysemantik infrage: Dabei scheint ein einzelnes Neuron auf mehrere Konzepte zu reagieren. Cammarata bezweifelt außerdem, dass man ein Modell zwingend zuerst mit einem separaten Verfahren zur Merkmalsextraktion – etwa einem Sparse Autoencoder – bearbeiten muss, um es interpretierbar zu machen. Die Idee der rekursiven Verallgemeinerung beweist jedoch nicht, dass Superposition nie vorkommt. Sie ist eine mögliche Erklärung für bestimmte beobachtete Reaktionen, aber kein abschließender Ersatz für alle Theorien darüber, wie Modelle Merkmale repräsentieren. 5
15
Ein berühmtes Neuron – Katze und Auto neu betrachtet
Ein bekanntes Beispiel aus dem Bildmodell InceptionV1 schien auf Katzenköpfe und Fahrzeugfronten zu reagieren. Das galt als möglicher Hinweis darauf, dass ein Neuron zwei auf den ersten Blick unverbundene Kategorien zusammenfasst. Cammaratas Essay deutet die Reaktion laut Berichten anders: Das Neuron könnte ein gemeinsames visuelles Merkmal erkennen, nämlich eine V-Form, statt unabhängig die Konzepte „Katze“ und „Auto“ abzubilden. Damit ist das Beispiel weniger eindeutiger Beleg für eine beliebige Vermischung. Eine neue Deutung dieses einzelnen Neurons klärt aber nicht grundsätzlich, wie Merkmale im gesamten Modell repräsentiert sind. 10
12
Die verfügbaren Quellen liefern nicht genug Einzelheiten, um Cammaratas überarbeitete Erklärung seines Schaltkreis-Beispiels von 2020 – vom Auto zum Hund – verlässlich nachzuzeichnen. Daher lässt sich hier nicht beurteilen, wie genau dieses Beispiel seine Hypothese stützt. Der allgemeinere Gedanke bleibt, dass vermeintlich vermischte Reaktionen eine gemeinsame oder verwandte Erklärung haben könnten.
Die berichteten Interpretierbarkeitswerte
Für Bildmodelle nennt Cammarata eine Reihe von Ergebnissen zur jeweils letzten Schicht: Mit Analysewerkzeugen aus dem Jahr 2017 seien ungefähr 5 Prozent der Neuronen in InceptionV1 interpretierbar gewesen. Mit verbesserten Werkzeugen am selben Netzwerk seien es etwa 50 Prozent gewesen, nach erneutem Training mit moderner Regularisierung rund 70 Prozent. Bei einem gleich großen ConvNeXt-Modell, das mit denselben Daten trainiert wurde, seien es etwa 99 Prozent gewesen. Die Zahlen legen nahe, dass sowohl die Analysewerkzeuge als auch die Architektur beeinflussen können, wie gut sich Neuronen deuten lassen. Sie beziehen sich auf die letzte Schicht – nicht darauf, welcher Anteil der gesamten Berechnungen des Modells verstanden ist. 31
Für Qwen3-32B schätzt Cammarata in einer vorläufigen Prüfung, dass rund 90 Prozent der untersuchten Neuronen-Reaktionsrichtungen eine Hauptfunktion haben, oft mit kleineren verwandten Nebenästen. Etwa 7 Prozent hätten zwei verwandte Funktionen; ungefähr 2 bis 4 Prozent seien noch nicht erklärt. Diese Angaben beziehen sich auf Neuronen-Reaktionsrichtungen und belegen nicht, dass sämtliche Bestandteile oder Entscheidungen des Sprachmodells verstanden sind. Die Anteile hängen zudem davon ab, ab welcher Stärke schwache Aktivierungen berücksichtigt werden, welche Schichten untersucht werden und was als eine einzelne „Funktion“ gilt. 1
7
Der Essay wird auch mit einem OpenAI-Projekt zur automatisierten Interpretierbarkeit in Verbindung gebracht. Dieses soll rund 1,7 Prozent der untersuchten Neuronen erklärt haben. Das ist kein direkter Vorher-nachher-Vergleich mit der Schätzung für Qwen3-32B: Untersucht wurden unterschiedliche Modelle, Werkzeuge und Messgrößen. Die beiden Prozentwerte sind daher kein kontrollierter Nachweis für einen bestimmten Fortschritt bei der Interpretierbarkeit. 9
12
Was KI-Agenten beitragen – und was unklar bleibt
Berichte über den Essay führen Cammaratas Einsatz moderner agentenbasierter Werkzeuge als Teil seiner Argumentation an: Damit ließen sich Neuronen in größerem Umfang direkt untersuchen. Aus den verfügbaren Quellen geht jedoch nicht verlässlich hervor, wie die genannten 100.000 Attributionsgraphen erstellt wurden oder welchen Beitrag sie zu den Ergebnissen leisteten. Diese konkrete methodische Angabe lässt sich anhand des vorliegenden Materials nicht überprüfen. 3
5
6
Die Ergebnisse zum Sprachmodell werden als vorläufig beschrieben; Cammarata selbst bezeichnet seinen Essay als Arbeitshypothese. Berichten zufolge stand eine technische Begleitstudie zu diesem Zeitpunkt noch aus. Die vorliegenden Quellen belegen keine unabhängige Replikation und enthalten nicht genügend Informationen, um Cammaratas Sicherheit bei den einzelnen Schätzungen einzuschätzen. 7
12
34
Warum die Reaktionen auseinandergehen
Der Newsletter Latent Space griff den Essay begeistert auf. Er stellte agentenbasierte Analysen als Herausforderung für die Annahme dar, polysemantische Neuronen machten eine direkte Untersuchung unpraktikabel. Neel Nanda von Google DeepMind wird in Berichten deutlich vorsichtiger beschrieben: Er rechnet weiterhin mit Superposition und hält es für möglich, dass schwache Aktivierungen wichtige Informationen enthalten – etwa gespeicherte Fakten. Andere Berichte stellen seine Kritik teilweise als Einwand gegen die Definition von „einer Funktion“ oder eines „monosemantischen“ Neurons dar, nicht als pauschale Zurückweisung der berichteten Beobachtungen. 6
35
36
37
Die verfügbaren Quellen dokumentieren den Austausch nicht ausführlich genug, um alle behaupteten Übereinstimmungen und Streitpunkte zu belegen. Offen bleiben etwa die Frage, ob Ergebnisse aus Bildmodellen auf Sprachmodelle übertragbar sind, und ob die Untersuchung einzelner Neuronen ausreicht, um ganze Schaltkreise zu verstehen. Diese Fragen sollten als offen gelten – nicht als durch die genannten Prozentwerte entschieden.
Das vorsichtige Fazit
Cammaratas stärkstes Argument lautet, dass ein Teil der vermeintlichen Komplexität neuronaler Netze durch die Werkzeuge und Modelle entsteht, mit denen Forschende sie untersuchen. Viele einzelne Neuronen könnten verständlicher sein, als ältere Studien vermuten ließen. Seine Ergebnisse zu Bildmodellen und die vorläufige Prüfung von Qwen3-32B machen diese Hypothese bemerkenswert. Sie zeigen aber weder, dass Superposition widerlegt ist, noch, dass jedes Neuron eine klar abgegrenzte Funktion hat. Und Neuronen zu verstehen ist nicht dasselbe, wie ein ganzes Modell zu verstehen. 7
10
12
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Sind neuronale Netze leichter zu verstehen als gedacht?“?
Goodfire Forscher Nick Cammarata vermutet, dass bessere Analysewerkzeuge und gewöhnliche Verallgemeinerung einen Teil der vermeintlichen Komplexität neuronaler Netze erklären.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Goodfire Forscher Nick Cammarata vermutet, dass bessere Analysewerkzeuge und gewöhnliche Verallgemeinerung einen Teil der vermeintlichen Komplexität neuronaler Netze erklären. Für Bildmodelle berichtet er von rund 5 Prozent interpretierbaren Neuronen mit älteren Werkzeugen bis zu etwa 99 Prozent in einem ConvNeXt gleicher Größe.