RéponsesPublié26 sources
Les réseaux de neurones sont-ils plus faciles à comprendre qu’on ne le pensait ?
Nick Cammarata, chercheur chez Goodfire, soutient que de meilleurs outils et la généralisation ordinaire expliqueraient une partie du désordre apparent des réseaux de neurones. Pour des modèles de vision, il rapporte une hausse de la lisibilité de la dernière couche, d’environ 5 % avec d’anciens outils à près de 99...
Publié parModifié avec GPT-6 LunaImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Nick Cammarata, chercheur chez Goodfire, soutient que de meilleurs outils et la généralisation ordinaire expliqueraient une partie du désordre apparent des réseaux de neurones.
- Pour des modèles de vision, il rapporte une hausse de la lisibilité de la dernière couche, d’environ 5 % avec d’anciens outils à près de 99 % avec un ConvNeXt de taille comparable.
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Dans un essai publié le 15 octobre 2026, Nick Cammarata, chercheur chez Goodfire, défend une idée qui bouscule certaines intuitions du domaine : des neurones qui semblent répondre à plusieurs concepts sans rapport pourraient parfois refléter des outils d’analyse insuffisants, des architectures anciennes ou des caractéristiques liées qui se ramifient au fil de la généralisation. Selon lui, il est souvent possible d’étudier les neurones directement, sans commencer par les « démêler » à l’aide d’un autre modèle. Ses résultats sont encourageants, mais ne prouvent pas que les réseaux de neurones — ni leur fonctionnement dans son ensemble — sont désormais compris. 5
10
26
La « généralisation récursive », selon Cammarata
L’hypothèse de Cammarata est qu’un neurone peut étendre progressivement sa réponse à des caractéristiques apparentées, formant une famille de ramifications plutôt qu’un assemblage arbitraire de concepts sans lien. Dans un exemple de langage rapporté, un neurone réagit d’abord à la séquence de lettres « iy », puis à « diy », et enfin à « do it yourself » — une expression liée par le sens, mais qui ne contient pas la séquence initiale. Cette progression pourrait donner l’impression que le neurone remplit plusieurs fonctions distinctes si l’on traite chacune de ses réponses comme une tâche isolée. 2
6
10
Cette lecture remet en question une interprétation courante de la poly-sémanticité, c’est-à-dire le fait qu’un même neurone semble s’activer pour plusieurs concepts. Elle interroge aussi la nécessité de recourir d’abord à une méthode distincte de découverte des caractéristiques, comme un autoencodeur parcimonieux, pour rendre un modèle interprétable. Mais la généralisation récursive ne prouve pas, à elle seule, que la superposition n’existe jamais : elle propose une explication possible de certaines observations, sans remplacer de manière définitive toutes les théories sur la représentation des caractéristiques dans les modèles. 5
15
Le neurone « chat et voiture » revisité
Un exemple célèbre tiré d’InceptionV1 semblait montrer un neurone réagissant à la fois à des visages de chats et à l’avant de voitures — comme si une même unité mélangeait deux catégories sans rapport. Selon les comptes rendus de l’essai, Cammarata y voit plutôt la détection d’un élément visuel commun, une forme en V, que la représentation indépendante de « chat » et de « voiture ». Cette interprétation rend l’exemple moins probant comme preuve d’un mélange arbitraire. Elle ne tranche toutefois pas, à elle seule, la question plus large de la représentation des caractéristiques dans un modèle. 10
12
Les sources disponibles ne donnent pas assez de détails pour reconstituer de façon fiable la nouvelle explication proposée par Cammarata pour son exemple de circuit « voiture-chien » de 2020. Il n’est donc pas possible ici d’évaluer précisément ce que cet exemple apporte à son hypothèse, au-delà de l’argument général selon lequel des réponses apparemment mêlées peuvent avoir une explication commune ou liée.
Les taux d’interprétabilité rapportés
Pour des modèles de vision, Cammarata rapporte une série de résultats portant sur la dernière couche : environ 5 % des neurones d’InceptionV1 auraient été interprétables avec les outils disponibles en 2017 ; environ 50 % avec de meilleurs outils appliqués au même réseau ; environ 70 % après un nouvel entraînement avec des méthodes de régularisation modernes ; et près de 99 % dans un ConvNeXt de taille comparable, entraîné sur le même jeu de données. Cette progression suggère que les outils d’analyse comme l’architecture du modèle peuvent influer sur la lisibilité des neurones. Il s’agit de résultats sur la dernière couche, et non de la part du calcul total du modèle qui aurait été expliquée. 31
Pour Qwen3-32B, Cammarata estime, dans un audit préliminaire, qu’environ 90 % des pôles de réponse des neurones ont une fonction principale, parfois accompagnée de petites ramifications liées ; environ 7 % en auraient deux, également liées ; et quelque 2 à 4 % resteraient inexpliqués. Ces chiffres concernent les pôles de réponse étudiés, pas une compréhension démontrée de chaque composant ou décision du modèle de langage. Les proportions varient aussi selon le seuil retenu pour les activations faibles, les couches examinées et ce qui est considéré comme une seule « fonction ». 1
7
L’essai est également rapproché d’un projet d’interprétabilité automatisée d’OpenAI, qui aurait permis d’expliquer environ 1,7 % des neurones examinés. Ce chiffre ne constitue pas une comparaison directe avec l’estimation pour Qwen3-32B : les projets portent sur des modèles, des outils et des mesures différents. Il ne s’agit donc pas d’une démonstration contrôlée d’une hausse précise de l’interprétabilité. 9
12
Le rôle des agents d’IA — et les zones d’ombre méthodologiques
Les articles consacrés à l’essai présentent l’utilisation d’outils dits « agentiques » modernes comme un élément de la démarche de Cammarata, qui cherche à étudier directement les neurones à plus grande échelle. Toutefois, les sources disponibles ne précisent pas suffisamment comment un ensemble de 100 000 graphes d’attribution aurait été produit ni comment ces graphes auraient contribué aux résultats. Ce détail méthodologique ne peut donc pas être vérifié à partir des éléments disponibles. 3
5
6
Les résultats sur le modèle de langage sont présentés comme préliminaires, et l’essai lui-même comme une hypothèse de travail. Des articles indiquent aussi qu’un texte technique complémentaire était encore à paraître ou n’avait pas été publié au moment où ils ont été rédigés. Les sources fournies ne permettent pas d’établir une réplication indépendante ni d’évaluer le degré de confiance associé à chaque estimation. 7
12
34
Pourquoi les réactions divergent
Latent Space a accueilli l’essai avec enthousiasme, y voyant une remise en cause de l’idée que les neurones poly-sémantiques rendent leur étude directe impraticable. Neel Nanda, de Google DeepMind, se montre plus prudent dans les articles qui rapportent sa réaction : il continue de s’attendre à ce que la superposition existe et souligne que des activations faibles peuvent contenir des informations utiles, y compris des faits mémorisés. Certains comptes rendus décrivent aussi sa critique comme portant en partie sur la définition d’une seule « fonction » — ou d’un neurone « monosémantique » — plutôt que comme un rejet pur et simple des observations rapportées. 6
35
36
37
Les sources disponibles ne documentent pas suffisamment l’ensemble de cet échange pour confirmer tous les points de désaccord ou de convergence avancés. Cela comprend notamment la question de savoir si les conclusions tirées de modèles d’images se transposent aux modèles de langage, ou si l’analyse des neurones suffit à comprendre les circuits. Ces questions restent ouvertes : les pourcentages rapportés ne les résolvent pas.
À retenir
L’argument central de Cammarata est que la complexité apparente des réseaux de neurones pourrait parfois venir des outils et des modèles utilisés pour les examiner, et que de nombreux neurones individuels seraient plus lisibles que ne le laissaient penser des travaux antérieurs. Ses résultats sur les modèles de vision et son audit préliminaire de Qwen3-32B font de cette hypothèse une piste notable. Ils ne démontrent ni que la superposition a été réfutée, ni que chaque neurone possède une fonction unique et claire, ni que comprendre les neurones revient à comprendre un modèle entier. 7
10
12
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Les réseaux de neurones sont-ils plus faciles à comprendre qu’on ne le pensait ? » ?
Nick Cammarata, chercheur chez Goodfire, soutient que de meilleurs outils et la généralisation ordinaire expliqueraient une partie du désordre apparent des réseaux de neurones.
Quels sont les points clés à valider en premier ?
Nick Cammarata, chercheur chez Goodfire, soutient que de meilleurs outils et la généralisation ordinaire expliqueraient une partie du désordre apparent des réseaux de neurones. Pour des modèles de vision, il rapporte une hausse de la lisibilité de la dernière couche, d’environ 5 % avec d’anciens outils à près de 99 % avec un ConvNeXt de taille comparable.