RespuestasPublicado26 fuentes
Una nueva lectura de las redes neuronales: más comprensibles, pero no del todo descifradas
Nick Cammarata, investigador de Goodfire, plantea que parte de la aparente complejidad de las redes neuronales podría deberse a herramientas de análisis limitadas y no a una mezcla inevitable de conceptos. En modelos de visión, informa que la interpretabilidad de las neuronas de la última capa pasó de cerca del 5 %...
Publicado porEditado con GPT-6 LunaImágenes generadas con GPT Image 2
Respuesta de investigación
Conclusiones clave
- Nick Cammarata, investigador de Goodfire, plantea que parte de la aparente complejidad de las redes neuronales podría deberse a herramientas de análisis limitadas y no a una mezcla inevitable de conceptos.
- En modelos de visión, informa que la interpretabilidad de las neuronas de la última capa pasó de cerca del 5 % con herramientas antiguas a alrededor del 99 % en una ConvNeXt de tamaño comparable; esas cifras no demues...
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Goodfire researcher Nick Cammarata argue in his October 15, 2026 essay about neural networks being easier to interpret than previo. Article summary: Cammarata’s October 15 essay, “Neural Networks Are Already Clean,” argues that much apparent neural-network opacity reflects inadequate tools and older architectures rather than intrinsically tangled representations; he . Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
El 15 de octubre de 2026, Nick Cammarata publicó el ensayo Neural Networks Are Already Clean («Las redes neuronales ya son comprensibles»). Su argumento, provocador, es que algunas neuronas que parecen responder a conceptos inconexos quizá reflejen herramientas de análisis poco eficaces, arquitecturas antiguas o rasgos relacionados que se ramifican mediante la generalización. En vez de intentar «desenredar» primero la red con otro modelo, sostiene que a menudo se pueden estudiar sus neuronas directamente. Los resultados que presenta son alentadores, pero no prueban que las redes neuronales —ni el comportamiento de los modelos en su conjunto— estén plenamente comprendidas. 5
10
26
¿Qué significa «generalización recursiva»?
La hipótesis de Cammarata es que la respuesta de una neurona puede extenderse desde un rasgo hacia otros relacionados, formando una especie de familia ramificada, en lugar de un conjunto arbitrario de conceptos sin conexión. Un ejemplo lingüístico que se atribuye a su análisis parte de una neurona que responde a la secuencia de letras «iy», luego a «diy» y, más adelante, a do it yourself («hazlo tú mismo»), una expresión relacionada por su significado aunque no contenga la secuencia original. La propuesta es que esta progresión puede parecer una mezcla de funciones si cada respuesta se interpreta como una tarea independiente y sin relación con las demás. 2
6
10
Esta lectura pone en cuestión una interpretación habitual de la polisemanticidad: la aparente activación de una misma neurona ante varios conceptos. También cuestiona que, para interpretar un modelo, sea imprescindible empezar por un método separado de detección de rasgos, como un autoencoder disperso. Pero la generalización recursiva no demuestra por sí sola que la superposición nunca ocurra: ofrece una explicación posible para algunas respuestas observadas, no una respuesta definitiva a todas las preguntas sobre cómo representan rasgos los modelos. 5
15
Una nueva lectura de la neurona «gato y coche»
Un ejemplo conocido de InceptionV1 parecía mostrar una neurona que respondía tanto a caras de gatos como a la parte frontal de coches, como si combinara categorías sin relación. Según los reportes sobre el ensayo, Cammarata reinterpreta esa respuesta como la detección de un rasgo visual compartido —una forma de «V»— y no como la representación independiente de «gato» y «coche». Esto debilitaría el ejemplo como prueba concluyente de una mezcla arbitraria, aunque reinterpretar una neurona no resuelve la cuestión más amplia de cómo se representan los rasgos en todo el modelo. 10
12
Las fuentes disponibles para este artículo no ofrecen suficiente detalle para reconstruir de forma fiable la nueva explicación que Cammarata da de su ejemplo de 2020 sobre un circuito que conectaba coches y perros. Por eso, no es posible evaluar aquí cuánto respalda ese caso la hipótesis, más allá del argumento general de que algunas aparentes mezclas podrían tener una explicación común o relacionada.
Las cifras de interpretabilidad que presenta
Cammarata informa de una serie de resultados sobre la última capa de modelos de visión: alrededor del 5 % de las neuronas de InceptionV1 eran interpretables con herramientas de 2017; cerca del 50 % lo eran al aplicar herramientas mejoradas a la misma red; alrededor del 70 %, tras volver a entrenarla con técnicas modernas de regularización; y aproximadamente el 99 % en una ConvNeXt de tamaño comparable, entrenada con el mismo conjunto de datos. La comparación sugiere que tanto las herramientas de análisis como la arquitectura pueden influir en lo legibles que parecen las neuronas. Son cifras sobre la última capa, no porcentajes de todos los cálculos del modelo que ya se hayan explicado. 31
En Qwen3-32B, Cammarata estima, en una auditoría preliminar, que cerca del 90 % de los polos de respuesta de las neuronas tienen una función principal, a menudo con pequeñas ramificaciones relacionadas; alrededor del 7 % tendría dos funciones relacionadas, y entre el 2 % y el 4 % seguiría sin explicación. Estas cifras describen polos de respuesta neuronal, no una comprensión demostrada de cada componente o decisión del modelo de lenguaje. Además, las proporciones varían según el umbral elegido para las activaciones débiles, las capas examinadas y qué se considera una sola «función». 1
7
El ensayo también se ha comparado con un proyecto de interpretabilidad automatizada de OpenAI que, según los reportes, explicó cerca del 1,7 % de las neuronas examinadas. No es una comparación directa de antes y después con la estimación de Qwen3-32B: los proyectos analizan modelos distintos y emplean herramientas y medidas diferentes. Por tanto, no debe leerse como una demostración controlada de cuánto aumentó la interpretabilidad. 9
12
Qué aportan los agentes de IA y qué no se puede verificar
Los reportes describen el uso de herramientas modernas basadas en agentes como parte del argumento de Cammarata a favor de analizar neuronas directamente y a mayor escala. Sin embargo, las fuentes disponibles no aclaran cómo se generaron 100.000 gráficos de atribución ni qué papel desempeñaron en los resultados. Ese detalle metodológico no puede verificarse con la información reunida aquí. 3
5
6
Los resultados sobre modelos de lenguaje se describen como preliminares y el propio ensayo como una hipótesis de trabajo. Según los reportes, el artículo técnico complementario aún estaba pendiente o no se había publicado en ese momento. Las fuentes proporcionadas tampoco documentan una replicación independiente ni ofrecen suficiente información para evaluar el grado de confianza de Cammarata en cada estimación. 7
12
34
Por qué hay opiniones divididas
Latent Space recibió el ensayo con entusiasmo y presentó el análisis con agentes como un desafío a la idea de que la polissemanticidad hace impracticable estudiar las neuronas directamente. Neel Nanda, de Google DeepMind, aparece en los reportes con una postura más cauta: sigue esperando que exista superposición y sostiene que las activaciones débiles podrían contener información relevante, incluidos datos memorizados. Otros reportes describen su crítica como una discusión, en parte, sobre qué significa que una neurona tenga «una función» o sea «monosemántica», no como un rechazo simple de las observaciones presentadas. 6
35
36
37
Las fuentes disponibles no documentan suficientemente el intercambio como para respaldar todos los puntos de acuerdo o desacuerdo que se le atribuyen. Entre las cuestiones que siguen abiertas están si las conclusiones obtenidas con modelos de imágenes se trasladan a los modelos de lenguaje y si analizar neuronas basta para entender los circuitos. No conviene presentar esas preguntas como resueltas por las cifras reportadas.
La conclusión prudente
La afirmación más sólida de Cammarata es que parte de la complejidad aparente de las redes neuronales podría venir de las herramientas y los modelos empleados para examinarlas, y que muchas neuronas individuales quizá sean más legibles de lo que sugerían estudios anteriores. Sus resultados sobre modelos de visión y la auditoría preliminar de Qwen3-32B hacen que la hipótesis merezca atención. Pero no demuestran que la superposición haya quedado descartada, que cada neurona tenga una única función clara ni que comprender las neuronas equivalga a comprender un modelo entero. 7
10
12
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Una nueva lectura de las redes neuronales: más comprensibles, pero no del todo descifradas"?
Nick Cammarata, investigador de Goodfire, plantea que parte de la aparente complejidad de las redes neuronales podría deberse a herramientas de análisis limitadas y no a una mezcla inevitable de conceptos.
¿Cuáles son los puntos clave a validar primero?
Nick Cammarata, investigador de Goodfire, plantea que parte de la aparente complejidad de las redes neuronales podría deberse a herramientas de análisis limitadas y no a una mezcla inevitable de conceptos. En modelos de visión, informa que la interpretabilidad de las neuronas de la última capa pasó de cerca del 5 % con herramientas antiguas a alrededor del 99 % en una ConvNeXt de tamaño comparable; esas cifras no demues...