AnswersPublished26 sources
Er nevrale nettverk lettere å forstå enn vi trodde?
Goodfire forsker Nick Cammarata mener bedre verktøy og vanlig generalisering kan forklare mye av den tilsynelatende kompleksiteten i nevrale nettverk. For synsmodeller rapporterer han at andelen tolkbare nevroner i siste lag steg fra rundt 5 prosent med eldre verktøy til omtrent 99 prosent i en ConvNeXt med tilsvare...
Publisert avRedigert med GPT-6 LunaBilder generert med GPT Image 2
Research answer
Key takeaways
- Goodfire forsker Nick Cammarata mener bedre verktøy og vanlig generalisering kan forklare mye av den tilsynelatende kompleksiteten i nevrale nettverk.
- For synsmodeller rapporterer han at andelen tolkbare nevroner i siste lag steg fra rundt 5 prosent med eldre verktøy til omtrent 99 prosent i en ConvNeXt med tilsvarende parametertall.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
I essayet «Neural Networks Are Already Clean», publisert 15. oktober 2026, fremmer Nick Cammarata en utfordrende idé: Nevroner som ser ut til å blande flere urelaterte begreper, kan i stedet være vanskelige å tolke fordi analyseverktøyene er svake, modellarkitekturen er eldre, eller fordi beslektede trekk forgrener seg gjennom vanlig generalisering. Cammarata mener forskere ofte kan undersøke nevronene direkte, uten først å forsøke å «vikle dem ut» med en annen modell. Resultatene han rapporterer, er lovende, men viser ikke at nevrale nettverk – eller oppførselen deres som helhet – nå er fullt forstått. 5
10
26
Hva mener Cammarata med «rekursiv generalisering»?
Cammarata foreslår at et nevron kan utvide responsen sin fra ett trekk til beslektede trekk, slik at det dannes en forgrenet familie snarere enn en tilfeldig samling urelaterte begreper. Ett språkeksempel begynner med at et nevron reagerer på bokstavkombinasjonen «iy», så på «diy» og etter hvert på «do it yourself» – et uttrykk som er beslektet i betydning, men ikke inneholder den opprinnelige bokstavkombinasjonen. Tanken er at denne utviklingen kan se ut som en blanding av trekk dersom forskerne tolker hver respons som en separat og urelatert funksjon. 2
6
10
Denne tolkningen utfordrer en vanlig forståelse av polysemantikk: at ett nevron tilsynelatende aktiveres av flere ulike begreper. Den stiller også spørsmål ved om forskere først må bruke en egen metode for å finne fram til trekkene, for eksempel en sparsom autoenkoder, før modellen kan tolkes. Men rekursiv generalisering beviser ikke i seg selv at superposisjon aldri forekommer. Det er en mulig forklaring på noen observerte responser, ikke en endelig erstatning for alle teorier om hvordan modeller representerer trekk. 5
15
«Katt og bil» kan være et felles visuelt trekk
Et kjent eksempel fra bildeklassifiseringsmodellen InceptionV1 så ut til å vise et nevron som reagerte både på katteansikter og fronten på biler. Det kunne tyde på at ett nevron kombinerte to urelaterte kategorier. Cammarata skal i essayet tolke responsen på nytt: Nev tror han registrerer en felles visuell egenskap – en V-form – snarere enn å representere «katt» og «bil» hver for seg. Det gjør eksempelet mindre entydig som bevis på vilkårlig sammenblanding. Men en ny tolkning av ett nevron avgjør ikke det større spørsmålet om hvordan trekk er representert i en hel modell. 10
12
Kildene som ligger til grunn for denne saken, gir ikke nok detaljer til å gjenskape Cammaratas reviderte forklaring av eksempelet med en krets fra bil til hund, som han undersøkte i 2020. Derfor er det ikke mulig å vurdere her hvordan akkurat dette eksempelet støtter hypotesen, utover det bredere argumentet om at tilsynelatende blandinger kan ha en felles eller beslektet forklaring.
Tallene for hvor mange nevroner som kan tolkes
Cammarata rapporterer en serie resultater for det siste laget i synsmodeller: Omtrent 5 prosent av nevronene i InceptionV1s siste lag kunne tolkes med verktøy fra 2017. Med bedre verktøy på den samme modellen steg andelen til rundt 50 prosent. Etter ny trening med moderne regularisering var den omtrent 70 prosent, og i en ConvNeXt med tilsvarende antall parametere, trent på samme datasett, rundt 99 prosent. Tallrekken antyder at både analyseverktøy og modellarkitektur påvirker hvor forståelige nevronene virker. Dette er rapporterte tolkninger av det siste laget – ikke prosentandeler av hele modellens beregninger som forskerne har forklart. 31
For Qwen3-32B anslår Cammaratas foreløpige gjennomgang at omtrent 90 prosent av nevronenes responsretninger har én hovedoppgave, ofte med små, beslektede forgreninger. Rundt 7 prosent skal ha to beslektede oppgaver, mens omtrent 2–4 prosent fortsatt ikke er forklart. Tallene gjelder responsretninger, ikke en dokumentert forståelse av alle delene eller beslutningene i språkmodellen. Andelene varierer dessuten med grensen for svake aktiveringer, hvilke lag som undersøkes, og hva som regnes som én «oppgave». 1
7
Essayet omtales også sammen med et automatisert tolkningsprosjekt fra OpenAI, der omtrent 1,7 prosent av nevronene som ble undersøkt, skal ha blitt forklart. Det tallet kan ikke sammenlignes direkte med anslaget for Qwen3-32B: Prosjektene gjelder ulike modeller, verktøy og målemetoder. Det er derfor ikke en kontrollert demonstrasjon av en bestemt økning i tolkbarhet. 9
12
Hva KI-agenter bidrar med – og hva vi ikke vet
Omtalen av essayet beskriver Cammaratas bruk av moderne agentbaserte verktøy som en del av argumentet for å undersøke nevroner direkte i større skala. Men kildene her fastslår ikke hvordan et tall på 100 000 attribusjonsgrafer ble produsert, eller hvilken rolle grafene hadde i funnene. Denne konkrete metodiske detaljen kan derfor ikke bekreftes ut fra materialet. 3
5
6
Resultatene for språkmodeller omtales som foreløpige, og essayet som en arbeidshypotese. Ifølge omtalen var en teknisk følgestudie fortsatt under arbeid eller ikke publisert på det aktuelle tidspunktet. Kildene som er lagt fram her, dokumenterer heller ikke uavhengig replikasjon eller gir nok informasjon til å vurdere hvor sikker forskeren er på hvert enkelt anslag. 7
12
34
Hvorfor forskerne er uenige
Latent Space omtalte essayet entusiastisk og framstilte agentbasert analyse som en utfordring mot ideen om at polysemantiske nevroner gjør direkte undersøkelser upraktiske. Neel Nanda fra Google DeepMind beskrives i omtalen som mer avventende: Han regner fortsatt med at superposisjon forekommer, og mener svake aktiveringer kan inneholde viktig informasjon, blant annet lagrede fakta. Noe av kritikken hans skal også handle om hvordan «én oppgave» eller et «monosemantisk» nevron defineres, snarere enn å være en ren avvisning av observasjonene. 6
35
36
37
Kildene gir ikke nok informasjon om hele ordskiftet til å slå fast alle punktene der de er enige eller uenige. Det gjelder blant annet spørsmålet om funn fra bildemodeller kan overføres til språkmodeller, og om nevronanalyse alene er nok til å forstå kretser i modellen. Disse spørsmålene bør stå åpne, ikke framstilles som avgjort av prosenttallene.
Den nøkterne konklusjonen
Cammaratas sterkeste påstand er at noe av kompleksiteten i nevrale nettverk kan skyldes verktøyene og modellene forskere har brukt til å undersøke dem – og at mange enkeltnevroner kan være lettere å forstå enn eldre studier ga inntrykk av. Resultatene han rapporterer for synsmodeller, og den foreløpige gjennomgangen av Qwen3-32B, gjør dette til en interessant hypotese. De viser ikke at superposisjon er motbevist, at hvert nevron har én tydelig funksjon, eller at forståelse av nevroner alene betyr at man forstår en hel modell. 7
10
12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Er nevrale nettverk lettere å forstå enn vi trodde?"?
Goodfire forsker Nick Cammarata mener bedre verktøy og vanlig generalisering kan forklare mye av den tilsynelatende kompleksiteten i nevrale nettverk.
What are the key points to validate first?
Goodfire forsker Nick Cammarata mener bedre verktøy og vanlig generalisering kan forklare mye av den tilsynelatende kompleksiteten i nevrale nettverk. For synsmodeller rapporterer han at andelen tolkbare nevroner i siste lag steg fra rundt 5 prosent med eldre verktøy til omtrent 99 prosent i en ConvNeXt med tilsvarende parametertall.