AnswersPublished26 sources
Är neurala nätverk lättare att tolka än vi trott?
Goodfire forskaren Nick Cammarata menar att bättre verktyg och vanlig generalisering kan förklara en del av den komplexitet som setts i neurala nätverk. För bildmodeller rapporterar han att andelen tolkbara neuroner i det sista lagret steg från cirka 5 procent med äldre verktyg till omkring 99 procent i en parameter...
Publicerad avRedigerad med GPT-6 LunaBilder genererade med GPT Image 2
Research answer
Key takeaways
- Goodfire forskaren Nick Cammarata menar att bättre verktyg och vanlig generalisering kan förklara en del av den komplexitet som setts i neurala nätverk.
- För bildmodeller rapporterar han att andelen tolkbara neuroner i det sista lagret steg från cirka 5 procent med äldre verktyg till omkring 99 procent i en parameterjämförbar ConvNeXt.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Goodfire-forskaren Nick Cammarata argumenterar i sin essä från den 15 oktober 2026, Neural Networks Are Already Clean, för att vissa neuroner som verkar reagera på flera orelaterade begrepp kan ha misstolkats. Förklaringen kan, enligt honom, vara bristfälliga analysverktyg, äldre modellarkitekturer eller besläktade egenskaper som utvecklas genom vanlig generalisering. Han menar att forskare ofta kan undersöka neuroner direkt i stället för att först försöka ”reda ut” dem med en annan modell. Resultaten är intressanta, men visar inte att neurala nätverk – eller deras beteende som helhet – nu är fullt förstådda. 5
10
26
Vad menar Cammarata med ”rekursiv generalisering”?
Cammaratas hypotes är att en neuron kan börja reagera på en egenskap och sedan omfatta besläktade egenskaper i flera steg. Det skulle skapa en förgrenad familj av reaktioner, snarare än en godtycklig blandning av orelaterade begrepp. Ett språkexempel börjar med en neuron som reagerar på bokstavsföljden ”iy”, därefter på ”diy” och till sist på ”do it yourself” – en fras som är betydelsemässigt besläktad men inte innehåller den ursprungliga bokstavsföljden. Enligt förslaget kan utvecklingen se ut som en sammanblandning av egenskaper om varje reaktion behandlas som en separat och orelaterad funktion. 2
6
10
Tolkningen utmanar en vanlig läsning av så kallad polysemantik: att en och samma neuron verkar aktiveras av flera olika begrepp. Den ifrågasätter också om forskare alltid behöver börja med en separat metod för att hitta egenskaper, till exempel en gles autoencoder, innan modellen går att tolka. Men rekursiv generalisering bevisar inte i sig att superposition aldrig förekommer. Det är en möjlig förklaring till vissa observerade reaktioner, inte ett slutgiltigt alternativ till alla teorier om hur modeller representerar egenskaper. 5
15
Katten och bilen – en annan tolkning
Ett välkänt exempel från bildmodellen InceptionV1 verkade visa en neuron som reagerade både på kattansikten och på bilars frontpartier. Det sågs som ett möjligt tecken på att en neuron blandade två orelaterade kategorier. Enligt rapporteringen tolkar Cammarata i stället reaktionen som att neuronen känner igen en gemensam visuell egenskap – en V-form – snarare än att den separat representerar ”katt” och ”bil”. Det gör exemplet mindre avgörande som belägg för godtycklig sammanblandning. Men en ny tolkning av en enskild neuron avgör inte hur egenskaper representeras i en hel modell. 10
12
Det tillgängliga underlaget ger inte tillräckliga detaljer för att på ett tillförlitligt sätt rekonstruera Cammaratas nya förklaring av hans exempel från 2020 med en krets som kopplade samman bil och hund. Därför går det inte här att bedöma hur just det exemplet stöder hypotesen, utöver det bredare argumentet att skenbara blandningar kan ha en gemensam eller besläktad förklaring.
De rapporterade siffrorna för tolkbarhet
Cammarata redovisar resultat för det sista lagret i bildmodeller. Med verktyg från 2017 gick omkring 5 procent av neuronerna i InceptionV1:s sista lager att tolka. Med förbättrade verktyg på samma nätverk steg andelen till cirka 50 procent. Efter ny träning med modern regularisering uppges den ha varit omkring 70 procent, och i en ConvNeXt med jämförbart antal parametrar, tränad på samma datamängd, cirka 99 procent. Resultaten antyder att både analysverktyg och modellarkitektur påverkar hur begripliga neuroner verkar. Siffrorna gäller det sista lagret – inte hur stor del av modellens hela beräkning forskare har förklarat. 31
I en preliminär granskning av Qwen3-32B uppskattar Cammarata att ungefär 90 procent av neuronernas responsriktningar, eller ”poler”, har en huvudsaklig funktion, ibland med mindre besläktade sidogrenar. Omkring 7 procent uppges ha två besläktade funktioner och cirka 2–4 procent är ännu oförklarade. Det handlar om neuronernas responsriktningar, inte om att varje komponent eller beslut i språkmodellen är förstått. Andelarna påverkas också av gränsen för svaga aktiveringar, vilka lager som undersöks och vad som räknas som en enda ”funktion”. 1
7
Essän har även jämförts med ett automatiserat OpenAI-projekt som enligt rapporteringen kunde förklara omkring 1,7 procent av de neuroner som undersöktes. Det är ingen direkt jämförelse före och efter med Qwen3-32B-resultatet: studierna gäller olika modeller, verktyg och mått. Siffrorna visar därför inte i sig en kontrollerad förbättring av en viss storlek. 9
12
AI-agenter – och vad underlaget inte klargör
Rapporteringen beskriver hur Cammarata använder moderna AI-agenter som en del av argumentet för att kunna studera neuroner direkt i större skala. Men de tillgängliga källorna visar inte hur uppgiften om 100 000 attribution graphs – diagram som kopplar samman bidrag till modellens svar – togs fram eller användes i analysen. Den metoddetaljen går därför inte att bekräfta utifrån underlaget här. 3
5
6
Resultaten för språkmodellen beskrivs som preliminära, och essän som en arbetshypotes. Enligt rapporteringen var den tekniska följdstudien ännu inte publicerad eller tillgänglig vid den aktuella tidpunkten. Källorna visar inte heller att resultaten har bekräftats oberoende, och ger inte tillräcklig information för att bedöma hur säker Cammarata är på varje enskild uppskattning. 7
12
34
Därför går åsikterna isär
Nyhetsbrevet Latent Space tog entusiastiskt emot essän och beskrev agentbaserad analys som en utmaning mot idén att polysemantiska neuroner gör direkt undersökning opraktisk. Google DeepMinds Neel Nanda framställs i rapporteringen som mer försiktig. Han räknar fortsatt med att superposition förekommer och menar att även svaga aktiveringar kan bära viktig information, till exempel lagrade fakta. En del av kritiken handlar också om hur man definierar en neuron med ”en funktion” eller en ”monosemantisk” neuron – inte nödvändigtvis om att alla observationer i sig avfärdas. 6
35
36
37
Källorna räcker inte till för att reda ut alla delar av meningsskiljaktigheten. Det gäller bland annat om slutsatser från bildmodeller kan överföras till språkmodeller och om analys på neuronnivå räcker för att förstå kretsar. De frågorna bör därför betraktas som öppna, inte som avgjorda av de rapporterade procentsiffrorna.
Den försiktiga slutsatsen
Cammaratas starkaste poäng är att en del av den skenbara komplexiteten i neurala nätverk kan bero på vilka modeller och verktyg forskare använder för att undersöka dem – och att fler enskilda neuroner kan vara begripliga än äldre studier antydde. Resultaten från bildmodellerna och den preliminära granskningen av Qwen3-32B gör hypotesen värd att ta på allvar. Men de visar inte att superposition har motbevisats, att varje neuron har en tydlig funktion eller att förståelse av neuroner automatiskt innebär förståelse av en hel modell. 7
10
12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Är neurala nätverk lättare att tolka än vi trott?"?
Goodfire forskaren Nick Cammarata menar att bättre verktyg och vanlig generalisering kan förklara en del av den komplexitet som setts i neurala nätverk.
What are the key points to validate first?
Goodfire forskaren Nick Cammarata menar att bättre verktyg och vanlig generalisering kan förklara en del av den komplexitet som setts i neurala nätverk. För bildmodeller rapporterar han att andelen tolkbara neuroner i det sista lagret steg från cirka 5 procent med äldre verktyg till omkring 99 procent i en parameterjämförbar ConvNeXt.