RespostasPublicado26 fontes
Redes neurais são mais fáceis de entender do que se pensava?
O pesquisador da Goodfire Nick Cammarata argumenta que ferramentas antigas e generalizações entre características relacionadas podem ter feito redes neurais parecerem mais confusas do que são. Em modelos de visão, ele relata que a parcela interpretável de neurônios da última camada foi de cerca de 5% com ferramentas...
Publicado porEditado com GPT-6 LunaImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- O pesquisador da Goodfire Nick Cammarata argumenta que ferramentas antigas e generalizações entre características relacionadas podem ter feito redes neurais parecerem mais confusas do que são.
- Em modelos de visão, ele relata que a parcela interpretável de neurônios da última camada foi de cerca de 5% com ferramentas antigas a aproximadamente 99% em uma ConvNeXt de tamanho comparável; isso não significa que...
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
Em um ensaio publicado em 15 de outubro de 2026, Nick Cammarata, pesquisador da Goodfire, defende uma ideia provocadora: parte da aparente confusão dentro das redes neurais pode vir de ferramentas de análise limitadas, arquiteturas antigas ou características relacionadas que se ramificam durante o aprendizado. Em vez de tentar primeiro “desenrolar” a rede com outro modelo, ele propõe estudar os próprios neurônios. Os resultados que apresenta são promissores, mas não provam que redes neurais — ou seu funcionamento como um todo — já estejam compreendidas. 5
10
26
O que significa “generalização recursiva”
A hipótese de Cammarata é que um neurônio pode passar a responder a uma família de características relacionadas, em vez de reunir conceitos sem relação entre si. Um exemplo citado começa com um neurônio que responde à sequência de letras “iy”, depois também a “diy” e, por fim, a “do it yourself” — expressão relacionada em significado, embora não contenha a sequência original. A ideia é que essa progressão possa parecer uma mistura de funções quando cada resposta é analisada como se fosse uma tarefa independente. 2
6
10
Essa leitura põe em questão a interpretação comum da chamada polisseântica: a aparente ativação de um mesmo neurônio para vários conceitos. Também levanta dúvidas sobre a necessidade de usar primeiro um método separado de descoberta de características, como um autoencoder esparso, para tornar um modelo interpretável. Mas a generalização recursiva não demonstra, por si só, que a superposição nunca ocorra. Ela oferece uma explicação possível para algumas respostas observadas, não uma substituição definitiva para todas as teorias sobre como modelos representam características. 5
15
O neurônio que parecia responder a gatos e carros
Um exemplo conhecido do modelo de visão InceptionV1 parecia mostrar um neurônio reagindo tanto a rostos de gatos quanto à parte dianteira de carros — uma combinação que sugeria categorias sem relação. Segundo relatos sobre o ensaio, Cammarata reinterpreta a resposta como detecção de uma característica visual compartilhada, um formato em “V”, em vez de uma representação independente de “gato” e “carro”. Isso torna o exemplo menos conclusivo como prova de uma mistura arbitrária, mas uma nova leitura de um neurônio não resolve a questão mais ampla de como as características são representadas em toda a rede. 10
12
As fontes disponíveis para esta análise não trazem detalhes suficientes para reconstruir com segurança a nova explicação de Cammarata para o exemplo de um circuito que ligava carro e cachorro, de 2020. Por isso, não dá para avaliar aqui o peso específico desse caso além da tese geral de que misturas aparentes podem ter uma explicação compartilhada ou relacionada.
As taxas de interpretabilidade relatadas
Cammarata apresenta uma sequência de resultados para a última camada de modelos de visão: cerca de 5% dos neurônios da InceptionV1 eram interpretáveis com ferramentas da época, em 2017; aproximadamente 50%, com ferramentas melhores aplicadas à mesma rede; cerca de 70%, após um novo treinamento com técnicas modernas de regularização; e por volta de 99% em uma ConvNeXt de tamanho comparável, treinada com o mesmo conjunto de dados. A comparação sugere que tanto as ferramentas de análise quanto a arquitetura do modelo influenciam o quanto seus neurônios parecem legíveis. Esses percentuais se referem à última camada, não à parcela de todo o processamento do modelo que já foi explicada. 31
Para o modelo de linguagem Qwen3-32B, uma análise preliminar de Cammarata estima que cerca de 90% dos polos de resposta dos neurônios tenham uma função principal, às vezes com pequenos desdobramentos relacionados; aproximadamente 7% teriam duas funções relacionadas; e algo entre 2% e 4% continuaria sem explicação. Esses números dizem respeito aos polos dos neurônios, não a uma compreensão comprovada de todos os componentes ou decisões do modelo. As proporções também mudam conforme o limite usado para contar ativações fracas, as camadas examinadas e o que é considerado uma única “função”. 1
7
O ensaio também é comparado a um projeto de interpretabilidade automatizada da OpenAI que, segundo relatos, conseguiu explicar cerca de 1,7% dos neurônios examinados. Esse número não é uma comparação direta de antes e depois com a estimativa do Qwen3-32B: os projetos analisaram modelos diferentes, usaram ferramentas distintas e adotaram medidas diferentes. Portanto, não demonstra, por si só, um aumento controlado de interpretabilidade. 9
12
O que os agentes de IA acrescentam — e o que ainda não está claro
Relatos sobre o ensaio descrevem o uso de ferramentas com agentes de IA como parte da tentativa de analisar neurônios diretamente em maior escala. Mas as fontes disponíveis não explicam suficientemente como teria sido produzido o número de 100 mil grafos de atribuição nem como esses grafos contribuíram para os resultados. Esse detalhe metodológico, portanto, não pode ser confirmado com as informações apresentadas. 3
5
6
Os resultados sobre modelos de linguagem são descritos como preliminares, e o próprio ensaio, como uma hipótese de trabalho. Relatos também indicam que um artigo técnico complementar ainda não estava disponível naquele momento. As fontes fornecidas não comprovam uma replicação independente nem trazem informações suficientes para avaliar o grau de confiança do pesquisador em cada estimativa. 7
12
34
Por que há cautela no debate
O boletim Latent Space recebeu o ensaio com entusiasmo e apresentou a análise com agentes como um desafio à ideia de que neurônios polissêmicos tornam inviável o estudo direto dos modelos. Já Neel Nanda, do Google DeepMind, é descrito nos relatos como mais cauteloso: ele continua esperando encontrar superposição e argumenta que ativações fracas podem conter informações relevantes, inclusive fatos memorizados. Parte da crítica também diz respeito à definição de “uma função” ou de um neurônio “monossêmico”, não apenas à rejeição das observações relatadas. 6
35
36
37
As fontes disponíveis não detalham o suficiente toda a discussão para confirmar cada ponto de concordância ou divergência — incluindo se conclusões obtidas em modelos de imagem se aplicam a modelos de linguagem e se analisar neurônios isolados basta para compreender circuitos. Essas questões seguem em aberto; os percentuais apresentados não as resolvem.
O que é possível concluir por enquanto
A afirmação mais forte de Cammarata é que parte da complexidade aparente das redes neurais pode estar nas ferramentas e nos modelos usados para examiná-las, e que muitos neurônios individuais talvez sejam mais fáceis de interpretar do que estudos anteriores sugeriam. Os resultados relatados para modelos de visão e a análise preliminar do Qwen3-32B tornam essa hipótese relevante. Mas não provam que a superposição foi refutada, que todo neurônio tenha uma função nítida ou que entender neurônios seja o mesmo que entender um modelo inteiro. 7
10
12
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Redes neurais são mais fáceis de entender do que se pensava?"?
O pesquisador da Goodfire Nick Cammarata argumenta que ferramentas antigas e generalizações entre características relacionadas podem ter feito redes neurais parecerem mais confusas do que são.
Quais são os pontos-chave para validar primeiro?
O pesquisador da Goodfire Nick Cammarata argumenta que ferramentas antigas e generalizações entre características relacionadas podem ter feito redes neurais parecerem mais confusas do que são. Em modelos de visão, ele relata que a parcela interpretável de neurônios da última camada foi de cerca de 5% com ferramentas antigas a aproximadamente 99% em uma ConvNeXt de tamanho comparável; isso não significa que...