AnswersPublished26 sources
Zijn neurale netwerken beter te begrijpen dan gedacht? Cammarata’s argument, en de grenzen ervan
Goodfire onderzoeker Nick Cammarata stelt dat betere analysetools en gewone generalisatie veel schijnbare complexiteit in neurale netwerken kunnen verklaren. Voor de laatste laag van visiemodellen rapporteert hij een stijging van circa 5% interpreteerbare neuronen met oude tools tot ongeveer 99% in een ConvNeXt met...
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- Goodfire onderzoeker Nick Cammarata stelt dat betere analysetools en gewone generalisatie veel schijnbare complexiteit in neurale netwerken kunnen verklaren.
- Voor de laatste laag van visiemodellen rapporteert hij een stijging van circa 5% interpreteerbare neuronen met oude tools tot ongeveer 99% in een ConvNeXt met vergelijkbare omvang.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
In een essay van 15 oktober 2026, Neural Networks Are Already Clean, voert Nick Cammarata een prikkelend argument aan: neuronen die lijken te reageren op een mix van ongerelateerde concepten, kunnen soms vooral wijzen op beperkte analysetools, oudere modelarchitecturen of verwante kenmerken die zich via gewone generalisatie vertakken. Volgens hem kunnen onderzoekers neuronen vaak rechtstreeks bestuderen, zonder ze eerst met een ander model te ‘ontwarren’. Zijn resultaten zijn bemoedigend, maar bewijzen niet dat neurale netwerken — of hun gedrag als geheel — inmiddels volledig worden begrepen. 5
10
26
Wat bedoelt Cammarata met ‘recursieve generalisatie’?
Cammarata’s hypothese is dat de reacties van een neuron kunnen uitwaaieren vanuit één kenmerk naar verwante kenmerken. Zo ontstaat een vertakkende familie, in plaats van een willekeurige verzameling losse concepten. Een voorbeeld uit een taalmodel begint bij een neuron dat reageert op de lettercombinatie ‘iy’, vervolgens ook op ‘diy’ en uiteindelijk op ‘do it yourself’ — een uitdrukking die qua betekenis verwant is, maar de oorspronkelijke lettercombinatie niet bevat. Volgens de hypothese kan die ontwikkeling op het mengen van kenmerken lijken als onderzoekers elke reactie behandelen als een afzonderlijke, ongerelateerde functie. 2
6
10
Die uitleg zet vraagtekens bij een gangbare interpretatie van polysemanticiteit: het verschijnsel waarbij één neuron geactiveerd lijkt te worden door meerdere concepten. Ook roept ze de vraag op of onderzoekers eerst een aparte methode voor kenmerkontdekking nodig hebben, zoals een sparse autoencoder — een model dat probeert de interne kenmerken van een netwerk uit elkaar te halen. Maar recursieve generalisatie bewijst op zichzelf niet dat superpositie nooit voorkomt. Het is een mogelijke verklaring voor sommige waargenomen reacties, geen sluitend alternatief voor alle theorieën over hoe modellen kenmerken representeren. 5
15
De ‘kat-en-auto’-neuron opnieuw bekeken
Een bekend voorbeeld uit het beeldherkenningsmodel InceptionV1 leek te laten zien dat één neuron reageerde op kattengezichten én op de voorkant van auto’s. Dat leek erop te wijzen dat het neuron twee ongerelateerde categorieën samenvoegde. Volgens berichtgeving herinterpreteert Cammarata die reactie als het herkennen van een gedeeld visueel kenmerk — een V-vorm — in plaats van het afzonderlijk representeren van ‘kat’ en ‘auto’. Daarmee is het voorbeeld minder overtuigend als bewijs voor willekeurige vermenging. Een nieuwe uitleg van één neuron beslist echter niet de bredere vraag hoe kenmerken in een model worden weergegeven. 10
12
De bronnen voor dit artikel bevatten onvoldoende details om Cammarata’s herziene uitleg van het circuitvoorbeeld uit 2020, waarin een auto in een hond verandert, betrouwbaar te reconstrueren. Daarom valt hier niet verder te beoordelen hoe dat voorbeeld zijn hypothese ondersteunt, behalve als onderdeel van zijn bredere stelling dat schijnbare mengvormen soms een gedeelde of verwante verklaring hebben.
De gerapporteerde percentages
Cammarata rapporteert een reeks resultaten voor de laatste laag van visiemodellen. Met analysetools uit 2017 was ongeveer 5% van de neuronen in de laatste laag van InceptionV1 interpreteerbaar. Met verbeterde tools op hetzelfde netwerk liep dat op tot ongeveer 50%; na hertraining met moderne regularisatie tot circa 70%; en in een ConvNeXt met vergelijkbaar aantal parameters, getraind op dezelfde dataset, tot ongeveer 99%. De reeks suggereert dat zowel analysetools als modelarchitectuur van invloed kunnen zijn op hoe begrijpelijk neuronen lijken. Het gaat om gerapporteerde interpretaties van de laatste laag, niet om het percentage van de volledige berekening van het model dat onderzoekers hebben verklaard. 31
Voor Qwen3-32B schat Cammarata in een voorlopige analyse dat ongeveer 90% van de responsrichtingen van neuronen één hoofdfunctie heeft, vaak met kleine, verwante vertakkingen. Zo’n 7% zou twee verwante functies hebben en ongeveer 2–4% blijft onverklaard. Deze cijfers gaan over responsrichtingen van neuronen; ze tonen niet aan dat elk onderdeel of elke beslissing van het taalmodel wordt begrepen. De percentages hangen bovendien af van de grenswaarde voor zwakke activaties, de onderzochte lagen en wat precies als één ‘functie’ telt. 1
7
Het essay wordt ook besproken in verband met een geautomatiseerd interpretatieproject van OpenAI dat naar verluidt ongeveer 1,7% van de onderzochte neuronen kon verklaren. Dat percentage is niet rechtstreeks te vergelijken met de schatting voor Qwen3-32B: het gaat om andere modellen, tools en meetmethoden. Je kunt het verschil dus niet lezen als een gecontroleerd bewijs voor een specifieke vooruitgang in interpreteerbaarheid. 9
12
Wat AI-agenten toevoegen — en wat onduidelijk blijft
In berichtgeving over het essay wordt Cammarata’s gebruik van moderne AI-agenten genoemd als onderdeel van zijn pleidooi om neuronen op grotere schaal rechtstreeks te bestuderen. Maar de beschikbare bronnen maken niet duidelijk hoe een getal van 100.000 attributiegrafieken tot stand kwam of hoe die grafieken aan de bevindingen bijdroegen. Die specifieke methodologische uitleg is op basis van dit materiaal niet te verifiëren. 3
5
6
De resultaten voor taalmodellen worden als voorlopig omschreven en het essay zelf als een werkhypothese. Volgens berichtgeving was een technisch begeleidend artikel op dat moment nog niet verschenen of nog niet beschikbaar. De aangeleverde bronnen bevestigen geen onafhankelijke replicatie en geven onvoldoende informatie om Cammarata’s vertrouwen in elke afzonderlijke schatting te beoordelen. 7
12
34
Waarom de reacties uiteenlopen
Latent Space reageerde enthousiast op het essay en presenteerde agentgestuurde analyse als een uitdaging voor het idee dat polysemantische neuronen directe bestudering onpraktisch maken. Neel Nanda van Google DeepMind wordt in berichtgeving voorzichtiger weergegeven: hij verwacht nog steeds dat superpositie voorkomt en stelt dat zwakke activaties betekenisvolle informatie kunnen bevatten, waaronder opgeslagen feiten en herinneringen. Volgens andere berichtgeving richt een deel van zijn kritiek zich op de definitie van één ‘functie’ of een ‘monosemantisch’ neuron — een neuron met één duidelijke functie — en niet simpelweg op het afwijzen van de waarnemingen. 6
35
36
37
De beschikbare bronnen leggen het debat niet gedetailleerd genoeg vast om alle vermeende overeenkomsten en meningsverschillen te onderbouwen. Dat geldt onder meer voor de vraag of conclusies uit beeldmodellen ook op taalmodellen toepasbaar zijn, en of analyse op neuronniveau volstaat om circuits te begrijpen. Die vragen moeten openblijven; de gerapporteerde percentages beantwoorden ze niet.
De voorzichtige conclusie
Cammarata’s sterkste stelling is dat de schijnbare complexiteit van neurale netwerken soms voortkomt uit de modellen en tools waarmee onderzoekers ze bekijken, en dat afzonderlijke neuronen wellicht begrijpelijker zijn dan eerdere studies suggereerden. Zijn resultaten voor visiemodellen en de voorlopige analyse van Qwen3-32B maken dat een interessante hypothese. Ze bewijzen niet dat superpositie is weerlegd, dat elk neuron één duidelijke functie heeft of dat begrip van losse neuronen gelijkstaat aan begrip van een volledig model. 7
10
12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Zijn neurale netwerken beter te begrijpen dan gedacht? Cammarata’s argument, en de grenzen ervan"?
Goodfire onderzoeker Nick Cammarata stelt dat betere analysetools en gewone generalisatie veel schijnbare complexiteit in neurale netwerken kunnen verklaren.
What are the key points to validate first?
Goodfire onderzoeker Nick Cammarata stelt dat betere analysetools en gewone generalisatie veel schijnbare complexiteit in neurale netwerken kunnen verklaren. Voor de laatste laag van visiemodellen rapporteert hij een stijging van circa 5% interpreteerbare neuronen met oude tools tot ongeveer 99% in een ConvNeXt met vergelijkbare omvang.