RéponsesPublié21 sources
Une retouche minuscule, un bond spectaculaire au test de maths : ce que montre l’expérience sur Qwen
Selon les chercheurs, Astra a modifié 131 072 poids de Qwen3.5 0.8B, soit 0,016 % du total, et son score au test MATH 500 est passé de 7,9 % à 48,1 %. L’expérience s’est appuyée sur des sondages du modèle avec Python et des essais répétés.
Publié parModifié avec GPT-6 LunaImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Selon les chercheurs, Astra a modifié 131 072 poids de Qwen3.5 0.8B, soit 0,016 % du total, et son score au test MATH 500 est passé de 7,9 % à 48,1 %.
- L’expérience s’est appuyée sur des sondages du modèle avec Python et des essais répétés.
- Un modèle modifié a été rendu disponible et une nouvelle évaluation de MATH 500 a été rapportée.
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Des chercheurs du laboratoire CSAIL du MIT — Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab — rapportent que GPT-6 Astra a aidé à réparer un autre réseau neuronal en analysant puis en modifiant directement ses paramètres. Dans leur exemple le plus marquant, Astra a changé une petite partie des poids de Qwen3.5-0.8B et le score du modèle au test MATH-500 est passé de 7,9 % à 48,1 %. La lecture la plus prudente : l’intervention aurait corrigé un problème important de boucles de raisonnement, plutôt que d’ajouter d’un coup une nouvelle capacité en mathématiques. 3
6
35
Programmer un modèle en modifiant ses poids
Les chercheurs appellent cette approche la programmation dans l’espace des poids (weight-space programming). Au lieu d’entraîner un modèle avec des méthodes classiques fondées sur la descente de gradient, un modèle de langage examine ou modifie les valeurs numériques qui déterminent le comportement d’un autre réseau.
Dans l’expérience sur Qwen, Astra aurait changé 131 072 poids, soit 0,016 % du total du modèle. 6
33 Les chercheurs rapportent une forte progression sur MATH-500, ainsi que des gains sur GSM8K et IFEval, mais les résultats disponibles ne font pas état de réplications indépendantes pour ces deux derniers tests.
35
42
Ce n’était pas une modification faite en une seule étape, sans outils ni vérification. Les comptes rendus décrivent Astra utilisant Python pour sonder le comportement de Qwen et effectuer des passages avant de modifier ses poids. La retouche finale porte bien sur les poids, mais le processus rapporté reposait sur un diagnostic itératif assisté par des outils. 20
32
Le problème : des raisonnements qui tournent en boucle
Le diagnostic rapporté porte sur la tendance de Qwen à répéter ses raisonnements. Avant la modification, 93 % de ses réponses à MATH-500 auraient atteint la limite de sortie fixée pour l’expérience. Après, cette proportion serait tombée à 33,1 %. Selon les chercheurs, le changement ciblé a modifié un mécanisme interne du modèle. 3
20
Cette évolution aide à comprendre le résultat : en réduisant un défaut qui l’empêchait parfois d’aller au bout de ses réponses, la retouche aurait permis à Qwen de mieux exploiter ses capacités existantes. Dans un autre test, Astra n’a pas obtenu de progrès significatif en mathématiques sur Gemma 3 270M, un modèle qui boucle beaucoup moins souvent. Ce contraste va dans le sens d’une réparation ciblée, sans prouver que la modification directe des poids ne pourrait jamais améliorer d’autres capacités. 35
« Sans entraînement » ne veut pas dire sans effort
Le processus décrit implique des échanges et des essais répétés. Un compte rendu évoque une session d’environ 20 heures et 158 tours de conversation ; un autre décrit une session Python et un budget de passages avant sur des exercices. 20
32
Il faut donc comprendre « sans entraînement » au sens technique : l’approche évite la descente de gradient et la boucle d’entraînement habituelle. Cela ne signifie pas qu’elle ne demande ni calcul ni expérimentations pour repérer le problème et tester une solution. Les résultats rapportés ne permettent pas non plus d’établir combien d’essais seraient nécessaires, en règle générale, pour réussir une modification.
Ce que les résultats démontrent — et ce qu’ils ne démontrent pas
Le bond affiché est frappant, mais il mesure les performances dans le cadre de test rapporté, avant et après la modification. À lui seul, il ne démontre pas que le modèle a acquis des capacités générales de raisonnement. La baisse des réponses bloquées et la comparaison avec Gemma orientent plutôt vers la correction d’une faiblesse précise. 3
35
Un checkpoint Qwen modifié est disponible, et une nouvelle évaluation de ce modèle a été rapportée à 51,0 % sur MATH-500. Cela apporte un élément en faveur de la reproductibilité du résultat en mathématiques. Mais reproduire le score d’un modèle déjà modifié n’équivaut pas à refaire indépendamment tout le travail de diagnostic et de découverte réalisé avec Astra. 33
54
Les informations disponibles ne font pas état d’une confirmation indépendante des progrès sur GSM8K et IFEval. Les résultats sur Qwen et Gemma ne démontrent pas non plus que la méthode améliore de façon fiable n’importe quel modèle ou n’importe quelle tâche. Les chercheurs disent préparer un benchmark et un outil d’exploration pour évaluer et faciliter ce type de travail sur les poids ; ils pourraient aider à mesurer la reproductibilité de l’approche. 16
35
42
D’autres démonstrations, à ne pas confondre avec Qwen
Les chercheurs ont aussi présenté des expériences distinctes : interpréter des réseaux à partir de leurs poids et créer un réseau capable de jouer à Breakout. Selon leur récit, Astra a écrit les poids de ce réseau en une seule réponse, sans entraînement ni outils, et celui-ci a obtenu un score 20 fois supérieur à celui d’une référence PPO entraînée pendant 500 millions d’étapes. Il s’agit d’un résultat dans un jeu et un protocole précis, pas d’une preuve que la méthode surpasse généralement l’apprentissage par renforcement. 9
47
Ces exemples élargissent l’idée de programmation dans l’espace des poids, mais ne doivent pas être amalgamés avec la réparation de Qwen. Pour Qwen, le diagnostic rapporté s’appuyait sur des outils ; l’exemple de Breakout était présenté comme une expérience séparée de création de réseau. 9
20
32
À ce stade, le constat le plus solide est celui d’un exemple préliminaire et intrigant de réparation de modèle par modification directe de ses paramètres. Les chiffres méritent l’attention et les éléments publiés permettent un examen extérieur, mais ils ne suffisent pas à conclure que les modèles de langage peuvent améliorer d’autres modèles de manière simple, fiable et générale. 16
33
35
54
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Une retouche minuscule, un bond spectaculaire au test de maths : ce que montre l’expérience sur Qwen » ?
Selon les chercheurs, Astra a modifié 131 072 poids de Qwen3.5 0.8B, soit 0,016 % du total, et son score au test MATH 500 est passé de 7,9 % à 48,1 %.
Quels sont les points clés à valider en premier ?
Selon les chercheurs, Astra a modifié 131 072 poids de Qwen3.5 0.8B, soit 0,016 % du total, et son score au test MATH 500 est passé de 7,9 % à 48,1 %. L’expérience s’est appuyée sur des sondages du modèle avec Python et des essais répétés.
Que dois-je faire ensuite en pratique ?
Un modèle modifié a été rendu disponible et une nouvelle évaluation de MATH 500 a été rapportée.
Sources
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev