AnswersPublished26 sources
Le reti neurali sono più leggibili del previsto? La tesi di Cammarata e i suoi limiti
Nick Cammarata, ricercatore di Goodfire, sostiene che parte della complessità attribuita alle reti neurali dipenda da strumenti di analisi limitati e da generalizzazioni tra caratteristiche collegate. Per l’ultimo strato di alcuni modelli di visione, riferisce percentuali di interpretabilità dal 5% circa al 99% in u...
Pubblicato daModificato con GPT-6 LunaImmagini generate con GPT Image 2
Research answer
Key takeaways
- Nick Cammarata, ricercatore di Goodfire, sostiene che parte della complessità attribuita alle reti neurali dipenda da strumenti di analisi limitati e da generalizzazioni tra caratteristiche collegate.
- Per l’ultimo strato di alcuni modelli di visione, riferisce percentuali di interpretabilità dal 5% circa al 99% in un ConvNeXt a dimensione comparabile.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Nel suo saggio del 15 ottobre 2026, Neural Networks Are Already Clean, Nick Cammarata propone una tesi provocatoria: alcuni neuroni che sembrano combinare concetti senza rapporto potrebbero riflettere strumenti di analisi inadeguati, architetture meno recenti o caratteristiche collegate che si ramificano attraverso la generalizzazione. Secondo lui, in molti casi si possono studiare direttamente i neuroni, senza prima cercare di «scomporli» con un altro modello. I risultati che riporta sono incoraggianti, ma non dimostrano che le reti neurali, o il loro comportamento nel complesso, siano ormai del tutto compresi. 5
10
26
Che cosa significa «generalizzazione ricorsiva»
L’ipotesi di Cammarata è che le risposte di un neurone possano estendersi da una caratteristica ad altre collegate, formando una famiglia di tratti che si ramifica invece di un insieme casuale di concetti scollegati. Un esempio linguistico riportato parte da un neurone che reagisce alla sequenza di lettere «iy», poi a «diy» e infine a «do it yourself»: un’espressione legata per significato, ma priva della sequenza iniziale. Secondo la proposta, questa progressione può sembrare una mescolanza di caratteristiche se ogni risposta viene considerata un compito separato e senza legami con gli altri. 2
6
10
Questa lettura mette in discussione un’interpretazione comune della polisemanticità, cioè l’apparente attivazione dello stesso neurone per più concetti. Cammarata contesta anche l’idea che, per rendere interpretabile un modello, sia sempre necessario ricorrere prima a un metodo separato per individuare le caratteristiche, come un autoencoder sparso. Ma la generalizzazione ricorsiva non dimostra, da sola, che la sovrapposizione non esista: è una possibile spiegazione di alcune risposte osservate, non una confutazione definitiva di ogni teoria su come i modelli rappresentano le caratteristiche. 5
15
Il neurone «gatto e automobile», riletto
Un noto esempio tratto da InceptionV1 sembrava mostrare un neurone che reagiva sia ai volti dei gatti sia alla parte anteriore delle automobili: un apparente caso di un’unica unità che combina categorie distanti. Secondo il resoconto del saggio, Cammarata rilegge quella risposta come il rilevamento di una caratteristica visiva condivisa, una forma a V, e non come la rappresentazione indipendente di «gatto» e «automobile». La nuova interpretazione rende l’esempio meno decisivo come prova di una mescolanza arbitraria; tuttavia, rivedere il significato di un singolo neurone non risolve la questione più ampia di come siano rappresentate le caratteristiche in tutto il modello. 10
12
Le fonti disponibili per questo articolo non offrono dettagli sufficienti per ricostruire in modo affidabile la nuova spiegazione dell’esempio del circuito «automobile-cane» discusso da Cammarata nel 2020. Non è quindi possibile valutare qui quanto quell’esempio sostenga l’ipotesi, al di là dell’argomento generale secondo cui le apparenti mescolanze potrebbero avere una spiegazione comune o comunque legata.
Le percentuali di interpretabilità riportate
Cammarata riferisce una serie di risultati sull’ultimo strato di modelli di visione: circa il 5% dei neuroni dell’ultimo strato di InceptionV1 era interpretabile con gli strumenti disponibili nel 2017; la quota sarebbe salita a circa il 50% applicando strumenti migliori alla stessa rete; a circa il 70% dopo un nuovo addestramento con tecniche di regolarizzazione moderne; e a circa il 99% in un ConvNeXt con un numero comparabile di parametri, addestrato sugli stessi dati. La sequenza suggerisce che sia gli strumenti di analisi sia l’architettura possano influire su quanto i neuroni appaiano leggibili. Sono percentuali riferite all’ultimo strato, non alla parte del calcolo complessivo del modello che i ricercatori avrebbero compreso. 31
Per Qwen3-32B, una verifica preliminare di Cammarata stima che circa il 90% dei poli di risposta dei neuroni abbia una funzione principale, spesso con piccole diramazioni collegate; circa il 7% avrebbe due funzioni correlate e all’incirca il 2–4% resterebbe senza spiegazione. Queste cifre riguardano i poli di risposta dei neuroni, non dimostrano che siano stati compresi tutti i componenti o le decisioni del modello linguistico. Le proporzioni riportate cambiano inoltre in base alla soglia scelta per le attivazioni deboli, agli strati esaminati e a ciò che si considera un singolo «compito». 1
7
Il saggio viene discusso anche in relazione a un progetto di interpretabilità automatizzata di OpenAI che, secondo le fonti, avrebbe spiegato circa l’1,7% dei neuroni esaminati. Non si tratta di un confronto diretto prima-dopo con la stima su Qwen3-32B: i progetti riguardano modelli, strumenti e criteri diversi. La percentuale, dunque, non va letta come prova controllata di un preciso aumento dell’interpretabilità. 9
12
Che cosa aggiungono gli agenti IA e che cosa resta incerto
I resoconti del saggio descrivono l’uso da parte di Cammarata di strumenti agentici moderni come parte della motivazione per studiare direttamente i neuroni su scala più ampia. Le fonti disponibili, però, non chiariscono come siano stati generati 100.000 grafi di attribuzione né in che modo abbiano contribuito ai risultati: questo dettaglio metodologico non può quindi essere verificato sulla base delle informazioni qui raccolte. 3
5
6
I risultati sui modelli linguistici sono descritti come preliminari e il saggio come un’ipotesi di lavoro. I resoconti riferiscono inoltre che, al momento della pubblicazione, il documento tecnico di accompagnamento non era ancora disponibile. Le fonti fornite non attestano una replica indipendente né contengono dettagli sufficienti per valutare il grado di fiducia del ricercatore in ciascuna stima. 7
12
34
Perché le reazioni sono diverse
Latent Space ha presentato il saggio con entusiasmo, descrivendo l’analisi agentica come una sfida all’idea che i neuroni polisemantici rendano impraticabile lo studio diretto dei modelli. Neel Nanda, di Google DeepMind, viene invece descritto dai resoconti come più prudente: continua a ritenere plausibile la sovrapposizione e sostiene che anche le attivazioni deboli possano contenere informazioni significative, tra cui fatti memorizzati. Altri resoconti presentano la sua critica anche come una questione di definizioni — che cosa conti come «un solo compito» o come neurone «monosemantico» — e non come un semplice rifiuto delle osservazioni riportate. 6
35
36
37
Le fonti disponibili non documentano abbastanza lo scambio per confermare ogni punto di accordo o disaccordo attribuito ai ricercatori. Restano aperte, tra le altre, le questioni di quanto i risultati sui modelli di immagini si applichino a quelli linguistici e se l’analisi dei singoli neuroni basti a comprendere i circuiti. Non è quindi corretto presentare queste domande come risolte dalle percentuali riportate.
La conclusione più prudente
La tesi più forte di Cammarata è che una parte della complessità apparente delle reti neurali possa dipendere dagli strumenti e dai modelli usati per esaminarle, e che molti singoli neuroni siano più leggibili di quanto suggerissero gli studi precedenti. I risultati riportati sui modelli di visione e la verifica preliminare di Qwen3-32B rendono l’ipotesi degna di attenzione. Non dimostrano, però, che la sovrapposizione sia stata confutata, che ogni neurone abbia una funzione unica e chiara o che capire i neuroni equivalga a capire un intero modello. 7
10
12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Le reti neurali sono più leggibili del previsto? La tesi di Cammarata e i suoi limiti"?
Nick Cammarata, ricercatore di Goodfire, sostiene che parte della complessità attribuita alle reti neurali dipenda da strumenti di analisi limitati e da generalizzazioni tra caratteristiche collegate.
What are the key points to validate first?
Nick Cammarata, ricercatore di Goodfire, sostiene che parte della complessità attribuita alle reti neurali dipenda da strumenti di analisi limitati e da generalizzazioni tra caratteristiche collegate. Per l’ultimo strato di alcuni modelli di visione, riferisce percentuali di interpretabilità dal 5% circa al 99% in un ConvNeXt a dimensione comparabile.