AnswersPublished21 sources
Un piccolo intervento sui pesi di Qwen ha ridotto i suoi loop di ragionamento
I ricercatori riferiscono che Astra ha modificato lo 0,016% dei pesi di Qwen3.5 0.8B e che il suo punteggio MATH 500 è passato dal 7,9% al 48,1%, soprattutto grazie alla riduzione dei ragionamenti ripetitivi. L’esperimento ha incluso analisi con strumenti Python e, secondo un resoconto, circa 20 ore di lavoro: «senz...
Pubblicato daModificato con GPT-6 LunaImmagini generate con GPT Image 2
Research answer
Key takeaways
- I ricercatori riferiscono che Astra ha modificato lo 0,016% dei pesi di Qwen3.5 0.8B e che il suo punteggio MATH 500 è passato dal 7,9% al 48,1%, soprattutto grazie alla riduzione dei ragionamenti ripetitivi.
- L’esperimento ha incluso analisi con strumenti Python e, secondo un resoconto, circa 20 ore di lavoro: «senza addestramento» non significa senza test o risorse.
- Un checkpoint pubblicato e una nuova valutazione di MATH 500 offrono elementi a sostegno della riproducibilità, ma non provano che il metodo funzioni in modo generale su modelli e compiti diversi.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Ricercatori del MIT CSAIL — il laboratorio del Massachusetts Institute of Technology dedicato all’informatica e all’intelligenza artificiale — riferiscono che GPT-6 Astra ha aiutato a correggere un altro modello intervenendo direttamente sui suoi parametri. Nell’esempio più vistoso, Astra ha modificato una piccola parte dei pesi di Qwen3.5-0.8B e il suo punteggio sul benchmark matematico MATH-500 è salito dal 7,9% al 48,1%. La lettura più prudente è che l’intervento abbia affrontato un grave problema di ragionamento ripetitivo, non che abbia semplicemente aggiunto nuove capacità matematiche. 3
6
35
Che cosa hanno fatto i ricercatori
Il gruppo chiama l’approccio weight-space programming: un modello linguistico analizza e modifica i pesi numerici di un’altra rete neurale, invece di aggiornarli con il normale addestramento basato sulla discesa del gradiente. Nell’esperimento su Qwen, Astra avrebbe cambiato 131.072 pesi, pari allo 0,016% del totale. 6
33
Il miglioramento riportato su MATH-500 è consistente. I ricercatori hanno segnalato progressi anche su GSM8K e IFEval, ma le fonti disponibili non documentano repliche indipendenti di questi due risultati. 35
42
Non si è trattato, però, di una modifica effettuata in un unico passaggio e senza strumenti. Secondo i resoconti, Astra ha usato analisi in Python e passaggi di calcolo del modello per indagare il comportamento di Qwen prima di intervenire. Il cambiamento finale riguardava i pesi, ma il percorso per individuarlo ha richiesto verifiche e diagnosi iterative. 20
32
Il bersaglio: i ragionamenti che si ripetevano
La diagnosi riferita dai ricercatori si è concentrata sulla tendenza di Qwen a restare intrappolato in loop di ragionamento. Prima della modifica, il 93% delle risposte su MATH-500 raggiungeva il limite massimo di output previsto dall’esperimento; dopo, la quota era scesa al 33,1%. Secondo il gruppo, l’intervento mirato ha cambiato una parte del calcolo interno del modello. 3
20
Questo dato aiuta a interpretare il risultato: la correzione sembra aver permesso a Qwen di usare meglio capacità che già possedeva, riducendo un problema che gli impediva di arrivare alla fine delle risposte. In un test separato su Gemma 3 270M, un modello descritto come molto meno incline ai loop, non è emerso un miglioramento matematico significativo. Il confronto è coerente con l’ipotesi di una riparazione mirata, ma non dimostra che modificare i pesi non possa migliorare altre capacità. 35
«Senza addestramento» non vuol dire senza lavoro
La procedura avrebbe richiesto interazioni e verifiche ripetute. Un resoconto descrive una sessione di circa 20 ore e 158 turni di conversazione; un altro parla di una sessione Python e di un numero limitato di passaggi di calcolo su esercizi di prova. 20
32
Perciò, «senza addestramento» non significa «senza tempo o risorse». Il metodo avrebbe evitato la discesa del gradiente e il consueto ciclo di training, ma ha comunque richiesto esperimenti per diagnosticare il problema e valutare l’intervento. I risultati disponibili non stabiliscono quante verifiche siano necessarie, in generale, per riuscire a modificare un modello. 20
32
Che cosa mostrano le prove e che cosa resta da verificare
Il confronto prima e dopo è notevole, ma va letto nel contesto del test descritto. Da solo, non prova che il modello abbia acquisito capacità di ragionamento nuove e generali. La riduzione dei loop e il confronto con Gemma indicano piuttosto la correzione di una debolezza specifica. 3
35
Sono disponibili materiali che altri possono esaminare: è stato pubblicato un checkpoint di Qwen modificato e una ricostruzione basata sul lavoro condiviso ha ottenuto il 51,0% su MATH-500. È un riscontro a favore della riproducibilità del punteggio, ma ripetere la valutazione di un checkpoint già modificato non equivale a replicare in modo indipendente l’intero processo con cui Astra ha individuato la correzione. 33
54
Le fonti disponibili non confermano in modo indipendente i miglioramenti su GSM8K e IFEval. Né i risultati su Qwen e Gemma dimostrano che la tecnica migliori in modo affidabile qualunque modello o compito. I ricercatori hanno dichiarato di voler sviluppare un benchmark e un ambiente di prova per valutare e facilitare questo tipo di esplorazione dei pesi: strumenti che potrebbero aiutare a capire quanto il metodo sia ripetibile. 16
35
42
Altre dimostrazioni, esperimenti distinti
Il gruppo ha descritto anche prove di interpretazione di reti a partire dai loro pesi e la creazione di una rete capace di giocare a Breakout. Secondo il resoconto degli autori, Astra ha scritto i pesi della rete per Breakout in una sola risposta, senza addestramento né strumenti, ottenendo un punteggio 20 volte superiore a quello di un riferimento PPO addestrato per 500 milioni di passaggi. È un risultato riferito a uno specifico gioco e a uno specifico confronto, non la prova che il metodo superi in generale l’apprendimento per rinforzo. 9
47
Queste dimostrazioni ampliano l’idea alla base del weight-space programming, ma non vanno confuse con la correzione di Qwen: per quest’ultima è stata descritta una diagnosi assistita da strumenti; Breakout è stato presentato come un esperimento distinto di costruzione di una rete. 9
20
32
La conclusione più solida, per ora, è che si tratta di un esempio iniziale e interessante di riparazione di un modello tramite modifiche dirette ai suoi parametri. I numeri riferiti sono notevoli e i materiali pubblicati permettono di esaminarli, ma le prove sono ancora più circoscritte dell’affermazione secondo cui i modelli linguistici sarebbero in grado di migliorare altri modelli in modo semplice e affidabile. 16
33
35
54
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Un piccolo intervento sui pesi di Qwen ha ridotto i suoi loop di ragionamento"?
I ricercatori riferiscono che Astra ha modificato lo 0,016% dei pesi di Qwen3.5 0.8B e che il suo punteggio MATH 500 è passato dal 7,9% al 48,1%, soprattutto grazie alla riduzione dei ragionamenti ripetitivi.
What are the key points to validate first?
I ricercatori riferiscono che Astra ha modificato lo 0,016% dei pesi di Qwen3.5 0.8B e che il suo punteggio MATH 500 è passato dal 7,9% al 48,1%, soprattutto grazie alla riduzione dei ragionamenti ripetitivi. L’esperimento ha incluso analisi con strumenti Python e, secondo un resoconto, circa 20 ore di lavoro: «senza addestramento» non significa senza test o risorse.
What should I do next in practice?
Un checkpoint pubblicato e una nuova valutazione di MATH 500 offrono elementi a sostegno della riproducibilità, ma non provano che il metodo funzioni in modo generale su modelli e compiti diversi.
Sources
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev