RespuestasPublicado21 fuentes
Una pequeña edición de Qwen elevó su resultado en matemáticas, pero no prueba que la IA haya adquirido nuevas capacidades
Según los investigadores, Astra modificó 131.072 pesos —el 0,016 % del total— y Qwen pasó del 7,9 % al 48,1 % en MATH 500, en buena medida al reducir respuestas atrapadas en bucles repetitivos. El proceso recurrió a análisis con Python y, en una ejecución descrita en los informes, duró unas 20 horas: «sin entrenamie...
Publicado porEditado con GPT-6 LunaImágenes generadas con GPT Image 2
Respuesta de investigación
Conclusiones clave
- Según los investigadores, Astra modificó 131.072 pesos —el 0,016 % del total— y Qwen pasó del 7,9 % al 48,1 % en MATH 500, en buena medida al reducir respuestas atrapadas en bucles repetitivos.
- El proceso recurrió a análisis con Python y, en una ejecución descrita en los informes, duró unas 20 horas: «sin entrenamiento» no significa sin experimentación ni coste computacional.
- Un modelo editado disponible públicamente y una repetición del resultado en MATH 500 aportan indicios de reproducibilidad, pero no demuestran que el método funcione con cualquier modelo o tarea.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (MIT CSAIL) informaron que GPT-6 Astra ayudó a reparar otro modelo neuronal mediante el análisis y la edición directa de sus parámetros. En el ejemplo más llamativo, Astra modificó una pequeña parte de los pesos de Qwen3.5-0.8B y la puntuación del modelo en MATH-500 subió del 7,9 % al 48,1 %. La lectura más prudente es que la edición corrigió un problema grave de razonamiento repetitivo; no que Astra le añadiera, sin más, una capacidad matemática nueva. 3
6
35
Qué hicieron los investigadores
El equipo llamó programación en el espacio de pesos (weight-space programming) a su enfoque: usar un modelo de lenguaje para inspeccionar o modificar los valores numéricos de otra red neuronal, en vez de actualizarla mediante el entrenamiento convencional basado en gradientes. En el experimento con Qwen, los informes señalan que Astra cambió 131.072 pesos, equivalentes al 0,016 % del total del modelo. 6
33
La mejora comunicada en MATH-500 fue considerable. Los investigadores también informaron avances en GSM8K e IFEval, aunque la información disponible no muestra replicaciones independientes de esos otros resultados. 35
42
La edición no consistió en que Astra cambiara los pesos a ciegas en un único paso. Las descripciones del experimento indican que el modelo utilizó herramientas basadas en Python y evaluaciones de la red para investigar su comportamiento antes de intervenir. Es decir, el cambio final quedó plasmado en los pesos, pero el proceso incluyó diagnóstico iterativo y uso de herramientas. 20
32
El problema: quedarse atrapado en bucles
El diagnóstico se centró en la tendencia de Qwen a repetir sus propios razonamientos. Antes de la edición, el 93 % de sus respuestas en MATH-500 habría alcanzado el límite de salida del experimento; después, la proporción bajó al 33,1 %. Los investigadores atribuyeron la mejora a un cambio dirigido en los cálculos internos del modelo. 3
20
Esto ayuda a interpretar el resultado: la edición parece haber permitido que Qwen aprovechara mejor sus capacidades existentes al reducir un fallo que podía impedirle terminar una respuesta. En una prueba aparte con Gemma 3 270M —un modelo que, según el informe, tendía mucho menos a entrar en bucles— no se obtuvo una mejora matemática significativa. La comparación respalda la explicación de que se reparó un problema específico, aunque no demuestra que editar pesos nunca pueda mejorar otras capacidades. 35
«Sin entrenamiento» no significa sin trabajo
El proceso descrito incluyó numerosas interacciones y pruebas. Un informe habla de una ejecución de unas 20 horas y 158 turnos de conversación; otro describe una sesión de Python y un presupuesto de evaluaciones con problemas de práctica. 20
32
Por eso, «sin entrenamiento» no equivale a «sin esfuerzo ni recursos». El método evitó el descenso por gradiente y el ciclo de entrenamiento convencional, pero aun así requirió experimentar para localizar el problema y poner a prueba una solución. Los resultados publicados tampoco establecen cuál sería el presupuesto mínimo de pruebas necesario para conseguir una edición exitosa. 20
32
Qué respalda la evidencia y qué sigue sin estar claro
La comparación principal es llamativa, pero necesita contexto. Mide el rendimiento antes y después de la edición bajo el protocolo descrito; por sí sola, no demuestra que el modelo haya adquirido capacidades generales de razonamiento. La caída de las respuestas que llegaban al límite y la comparación con Gemma apuntan, más bien, a la reparación de una debilidad concreta. 3
35
Hay materiales públicos que permiten examinar parte del resultado: se publicó una versión editada de Qwen y, según se informó, una reconstrucción basada en los materiales disponibles obtuvo un 51,0 % en MATH-500. Esto aporta indicios de que la puntuación matemática puede reproducirse, pero repetir el resultado de un modelo ya editado no es lo mismo que replicar de forma independiente todo el proceso con el que Astra detectó y corrigió el problema. 33
54
Los informes disponibles no acreditan una confirmación independiente de las mejoras en GSM8K e IFEval. Tampoco demuestran que la técnica mejore de forma fiable cualquier modelo o tarea. Los investigadores dijeron que están preparando un benchmark —un conjunto de pruebas para evaluar el método— y una herramienta de apoyo para que los modelos exploren y escriban pesos. Eso podría ayudar a medir cuán repetible es el enfoque, pero su desarrollo todavía no valida por sí mismo la técnica. 16
35
42
Otras demostraciones, por separado
El equipo también describió experimentos para interpretar redes a partir de sus pesos y para crear una red capaz de jugar a Breakout. Según su relato, Astra escribió los pesos de esa red en una sola respuesta, sin entrenamiento ni herramientas, y obtuvo una puntuación 20 veces superior a la de una referencia PPO entrenada durante 500 millones de pasos. Se trata de una afirmación sobre un juego y una comparación concretos, no de una prueba de que el método supere en general al aprendizaje por refuerzo. 9
47
Estas demostraciones amplían la idea de la programación en el espacio de pesos, pero no deben confundirse con la reparación de Qwen. En el experimento de Qwen se recurrió a herramientas para diagnosticar el problema; el ejemplo de Breakout se presentó como un experimento distinto de creación de una red. 9
20
32
La conclusión defendible es que se trata de un ejemplo temprano e interesante de reparación asistida por IA mediante la edición directa de parámetros. Las cifras llaman la atención y los materiales publicados permiten escrutar el resultado, pero la evidencia aún es más limitada que la afirmación general de que los modelos de lenguaje pueden mejorar a otros modelos de forma barata y fiable. 16
33
35
54
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Una pequeña edición de Qwen elevó su resultado en matemáticas, pero no prueba que la IA haya adquirido nuevas capacidades"?
Según los investigadores, Astra modificó 131.072 pesos —el 0,016 % del total— y Qwen pasó del 7,9 % al 48,1 % en MATH 500, en buena medida al reducir respuestas atrapadas en bucles repetitivos.
¿Cuáles son los puntos clave a validar primero?
Según los investigadores, Astra modificó 131.072 pesos —el 0,016 % del total— y Qwen pasó del 7,9 % al 48,1 % en MATH 500, en buena medida al reducir respuestas atrapadas en bucles repetitivos. El proceso recurrió a análisis con Python y, en una ejecución descrita en los informes, duró unas 20 horas: «sin entrenamiento» no significa sin experimentación ni coste computacional.
¿Qué debo hacer a continuación en la práctica?
Un modelo editado disponible públicamente y una repetición del resultado en MATH 500 aportan indicios de reproducibilidad, pero no demuestran que el método funcione con cualquier modelo o tarea.
Fuentes
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev