AnswersPublished26 sources
Er neurale netværk lettere at forstå, end vi troede?
Goodfire forskeren Nick Cammarata mener, at bedre analyseværktøjer og almindelig generalisering kan forklare noget af den kompleksitet, man tidligere har set i neurale netværk. Han rapporterer, at andelen af fortolkelige neuroner i det sidste lag steg fra cirka 5 procent med ældre værktøjer til omkring 99 procent i...
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- Goodfire forskeren Nick Cammarata mener, at bedre analyseværktøjer og almindelig generalisering kan forklare noget af den kompleksitet, man tidligere har set i neurale netværk.
- Han rapporterer, at andelen af fortolkelige neuroner i det sidste lag steg fra cirka 5 procent med ældre værktøjer til omkring 99 procent i en ConvNeXt model med tilsvarende antal parametre.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
I et essay fra 15. oktober 2026, “Neural Networks Are Already Clean”, fremsætter Nick Cammarata en opsigtsvækkende påstand: Nogle neuroner, der ser ud til at blande urelaterede begreber, kan i virkeligheden afspejle begrænsninger i analyseværktøjerne, ældre modelarkitekturer eller beslægtede egenskaber, der udvikler sig gennem almindelig generalisering. Han mener, at forskere ofte kan undersøge neuronerne direkte i stedet for først at forsøge at “rede dem ud” med en anden model. Resultaterne er lovende, men de viser ikke, at neurale netværk – eller deres samlede adfærd – nu er fuldt forstået. 5
10
26
Hvad mener Cammarata med “rekursiv generalisering”?
Cammaratas hypotese er, at en neurons reaktioner kan brede sig fra én egenskab til beslægtede egenskaber og dermed danne en forgrenet familie – snarere end en vilkårlig samling af urelaterede begreber. Et eksempel fra en sprogmodel begynder med en neuron, der reagerer på bogstavfølgen “iy”, derefter på “diy” og til sidst på “do it yourself”. Den sidste frase er betydningsmæssigt beslægtet, men indeholder ikke den oprindelige bogstavfølge. Ifølge hypotesen kan denne udvikling ligne en sammenblanding af egenskaber, hvis hver reaktion opfattes som en separat og urelateret funktion. 2
6
10
Fortolkningen udfordrer en almindelig forståelse af såkaldt polysemantik: at én neuron tilsyneladende aktiveres af flere forskellige begreber. Den rejser også spørgsmål om, hvorvidt forskere først behøver en særskilt metode til at finde egenskaber – for eksempel en sparse autoencoder – for at kunne fortolke en model. Men rekursiv generalisering beviser ikke i sig selv, at superposition aldrig forekommer. Det er en mulig forklaring på nogle observerede reaktioner, ikke en endelig erstatning for alle teorier om, hvordan modeller repræsenterer egenskaber. 5
15
Katte- og bilneuronen i et nyt lys
Et kendt eksempel fra billedmodellen InceptionV1 så ud til at vise en neuron, der reagerede både på katteansigter og på fronten af biler. Det blev længe opfattet som tegn på, at én neuron blandede to urelaterede kategorier. Cammaratas essay genfortolker ifølge omtaler reaktionen som registrering af et fælles visuelt træk – en V-form – snarere end som en selvstændig repræsentation af både “kat” og “bil”. Det gør eksemplet mindre afgørende som bevis på vilkårlig sammenblanding. Men en ny fortolkning af én neuron afgør ikke det bredere spørgsmål om, hvordan egenskaber repræsenteres i en hel model. 10
12
Det tilgængelige kildemateriale giver ikke nok detaljer til pålideligt at rekonstruere essayets reviderede forklaring på Cammaratas eksempel fra 2020 med et kredsløb fra bil til hund. Derfor kan man her ikke vurdere, hvordan netop det eksempel understøtter hypotesen, ud over den generelle pointe om, at tilsyneladende blandinger kan have en fælles eller beslægtet forklaring.
De rapporterede tal for fortolkelighed
Cammarata rapporterer en række resultater for det sidste lag i billedmodeller: Omkring 5 procent af neuronerne i InceptionV1’s sidste lag kunne fortolkes med værktøjer fra 2017. Med forbedrede værktøjer på den samme model steg andelen til cirka 50 procent. Efter genoptræning med moderne regularisering nåede den omkring 70 procent, og i en ConvNeXt-model med tilsvarende antal parametre, trænet på det samme datasæt, lå den på cirka 99 procent. Tallene peger på, at både analyseværktøjer og modelarkitektur kan påvirke, hvor lette neuroner er at forstå. De handler om modellernes sidste lag – ikke om, hvor stor en andel af hele modellens beregninger forskerne har forklaret. 31
I Qwen3-32B anslår Cammarata i en foreløbig gennemgang, at omtrent 90 procent af neuronernes responsretninger har én hovedfunktion, ofte med små, beslægtede afgreninger. Omkring 7 procent har to beslægtede funktioner, mens cirka 2–4 procent fortsat er uforklarede. Tallene beskriver responsretninger for neuroner, ikke en dokumenteret forståelse af alle komponenter eller beslutninger i sprogmodellen. Andelene afhænger desuden af grænsen for svage aktiveringer, hvilke lag man undersøger, og hvad der tæller som én enkelt “funktion”. 1
7
Essayet omtales også sammen med et automatiseret fortolkningsprojekt fra OpenAI, som ifølge rapporteringen forklarede omkring 1,7 procent af de undersøgte neuroner. Det tal kan ikke sammenlignes direkte med estimatet for Qwen3-32B: Projekterne undersøger forskellige modeller, bruger forskellige værktøjer og måler ikke nødvendigvis det samme. Det er derfor ikke en kontrolleret demonstration af en bestemt forbedring i fortolkelighed. 9
12
Hvad AI-agenter bidrager med – og hvad vi stadig ikke ved
Omtaler af essayet beskriver Cammaratas brug af moderne agentbaserede værktøjer som en del af argumentet for, at neuroner kan undersøges direkte i større skala. Men det tilgængelige kildemateriale fastslår ikke, hvordan et tal på 100.000 attribution graphs blev frembragt, eller hvordan graferne bidrog til resultaterne. Den konkrete metodiske detalje kan derfor ikke bekræftes ud fra disse kilder. 3
5
6
Resultaterne fra sprogmodellen beskrives som foreløbige, og essayet som en arbejdshypotese. Ifølge omtaler var den tekniske ledsagerartikel endnu ikke udgivet eller tilgængelig på det tidspunkt. De fremlagte kilder dokumenterer heller ikke en uafhængig gentagelse af resultaterne eller giver nok information til at vurdere forskerens sikkerhed på de enkelte estimater. 7
12
34
Hvorfor forskerne er uenige
Latent Space tog positivt imod essayet og fremstillede agentbaseret analyse som en udfordring af idéen om, at polysemantiske neuroner gør direkte undersøgelse upraktisk. Google DeepMinds Neel Nanda beskrives i omtaler som mere forbeholden: Han forventer fortsat, at superposition forekommer, og mener, at svage aktiveringer kan indeholde meningsfuld information, herunder lagrede fakta. Nogle omtaler fremstiller hans kritik som delvist rettet mod definitionen af “én funktion” eller en “monosemantisk” neuron – ikke blot som en afvisning af de rapporterede observationer. 6
35
36
37
De tilgængelige kilder dokumenterer ikke hele diskussionen grundigt nok til at fastslå alle punkter, forskerne er enige eller uenige om. Det gælder blandt andet spørgsmålet om, hvorvidt resultater fra billedmodeller kan overføres til sprogmodeller, og om analyse af neuroner alene er tilstrækkelig til at forstå kredsløbene. De spørgsmål bør derfor stå åbne frem for at blive betragtet som afgjort af de rapporterede procenter.
Den forsigtige konklusion
Cammaratas stærkeste pointe er, at noget af den kompleksitet, man ser i neurale netværk, kan skyldes de værktøjer og modeller, forskerne bruger til at undersøge dem – og at mange individuelle neuroner kan være lettere at forstå, end ældre studier antydede. Hans rapporterede resultater fra billedmodeller og foreløbige gennemgang af Qwen3-32B gør hypotesen værd at tage alvorligt. Men de viser ikke, at superposition er modbevist, at hver neuron har én tydelig funktion, eller at forståelse af neuroner er det samme som forståelse af en hel model. 7
10
12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Er neurale netværk lettere at forstå, end vi troede?"?
Goodfire forskeren Nick Cammarata mener, at bedre analyseværktøjer og almindelig generalisering kan forklare noget af den kompleksitet, man tidligere har set i neurale netværk.
What are the key points to validate first?
Goodfire forskeren Nick Cammarata mener, at bedre analyseværktøjer og almindelig generalisering kan forklare noget af den kompleksitet, man tidligere har set i neurale netværk. Han rapporterer, at andelen af fortolkelige neuroner i det sidste lag steg fra cirka 5 procent med ældre værktøjer til omkring 99 procent i en ConvNeXt model med tilsvarende antal parametre.