AnswersPublished21 sources
GPT-6 Astra verbeterde Qwens rekenscore door een denkloop te repareren
Volgens de onderzoekers paste Astra 0,016% van Qwen3.5 0.8B’s gewichten aan. De score op MATH 500 steeg van 7,9% naar 48,1%, vooral doordat het model minder vaak in herhalende denkloops bleef hangen.
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- Volgens de onderzoekers paste Astra 0,016% van Qwen3.5 0.8B’s gewichten aan. De score op MATH 500 steeg van 7,9% naar 48,1%, vooral doordat het model minder vaak in herhalende denkloops bleef hangen.
- De aanpak gebruikte Python probes en herhaald testen. Een beschreven experiment duurde ongeveer 20 uur: ‘zonder training’ betekende dus niet zonder tijd of rekenwerk.
- Een openbaar aangepast model en een gemelde nieuwe MATH 500 test bieden enige steun voor reproduceerbaarheid, maar bewijzen niet dat de methode breed werkt voor andere modellen of taken.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
MIT CSAIL-onderzoekers Rikiya Takehi, Jayden Teoh, Alex Zhang en Omar Khattab meldden dat GPT-6 Astra kon helpen een ander neuraal netwerk te repareren door de parameters ervan te analyseren en aan te passen. In hun opvallendste voorbeeld veranderde Astra een klein deel van de gewichten van Qwen3.5-0.8B. De score van dat model op MATH-500 steeg van 7,9% naar 48,1%. De voorzichtigste interpretatie: de aanpassing pakte een hardnekkige denkloop aan — niet dat Astra het model zomaar nieuwe wiskundige vaardigheden gaf. 3
6
35
Wat de onderzoekers rapporteerden
De onderzoekers noemen hun aanpak weight-space programming: een taalmodel onderzoekt of verandert de numerieke gewichten van een ander netwerk, in plaats van die met de gebruikelijke gradiëntgestuurde training bij te stellen. Bij het Qwen-experiment wijzigde Astra volgens de berichtgeving 131.072 gewichten, oftewel 0,016% van het totaal. 6
33
De gerapporteerde verbetering op MATH-500 was fors. De onderzoekers meldden ook hogere scores op GSM8K en IFEval, maar de beschikbare berichtgeving laat geen onafhankelijke herhaling van die twee resultaten zien. 35
42
Astra paste de gewichten niet simpelweg in één stap aan, zonder verdere analyse. Beschrijvingen van het experiment melden dat het model Python-tools gebruikte om Qwens gedrag te onderzoeken en door voorwaartse berekeningen te testen voordat het de wijziging aanbracht. Dat onderscheid is belangrijk: de uiteindelijke ingreep zat in de gewichten, maar het proces omvatte ook hulpmiddelen en herhaalde diagnose. 20
32
De ingreep richtte zich op herhalend redeneren
De diagnose draaide om Qwens neiging om in repetitieve denkloops vast te lopen. Vóór de aanpassing bereikte volgens de onderzoekers 93% van de antwoorden op MATH-500 de limiet voor de uitvoerlengte. Daarna was dat nog 33,1%. De onderzoekers schreven de verbetering toe aan een gerichte aanpassing van de interne berekeningen van het model. 3
20
Dat maakt de uitkomst beter te duiden: de wijziging lijkt Qwen te hebben geholpen zijn bestaande mogelijkheden effectiever te benutten, doordat een probleem werd verminderd dat het model ervan kon weerhouden een antwoord af te maken. Bij een afzonderlijke test met Gemma 3 270M — een model dat volgens de berichtgeving veel minder vaak in een denkloop belandde — leverde de aanpak geen betekenisvolle verbetering op voor wiskunde. Dat verschil past bij de verklaring dat Astra een probleem repareerde, al bewijst het niet dat gewichten aanpassen nooit andere vaardigheden kan verbeteren. 35
‘Geen training’ kostte nog steeds tijd en werk
Het beschreven proces bestond uit herhaald testen en interactie. Eén verslag noemt een experiment van ongeveer 20 uur en 158 gespreksrondes; een andere beschrijving vermeldt een Python-sessie en een budget aan voorwaartse berekeningen op oefenopgaven. 20
32
‘Zonder training’ betekent hier dus niet ‘zonder moeite of rekenwerk’. De methode gebruikte geen gradiëntafdaling of conventionele trainingscyclus, maar vergde wel experimenten om het probleem op te sporen en een ingreep te testen. De resultaten stellen niet vast hoeveel tests minimaal nodig zijn om zulke aanpassingen te laten slagen. 20
32
Wat de resultaten wel en niet aantonen
De vergelijking vóór en na de aanpassing is opvallend, maar moet in context worden gelezen. De score geldt voor de gerapporteerde testopzet; op zichzelf bewijst die niet dat het model brede, nieuwe redeneervaardigheden heeft gekregen. De verandering in het aantal denkloops en de vergelijking met Gemma wijzen eerder op een gerichte reparatie van een specifieke zwakte. 3
35
Er is materiaal beschikbaar om nader te bekijken: een aangepast Qwen-model is openbaar gemaakt, en een gemelde reconstructie op basis van het vrijgegeven werk behaalde 51,0% op MATH-500. Dat biedt steun voor de reproduceerbaarheid van de score. Maar een score op een aangepast model opnieuw behalen is niet hetzelfde als Astra’s volledige ontdekkingstraject onafhankelijk herhalen. 33
54
De beschikbare berichtgeving geeft geen onafhankelijke bevestiging van de gemelde winst op GSM8K en IFEval. Ook tonen de resultaten met Qwen en Gemma niet aan dat deze techniek willekeurige modellen of taken betrouwbaar verbetert. De onderzoekers zeggen te werken aan een benchmark en een hulpmiddel om dit soort verkenning van gewichten te evalueren en te ondersteunen. Dat zou kunnen helpen vaststellen hoe herhaalbaar de aanpak is. 16
35
42
Andere demonstraties zijn afzonderlijke claims
De onderzoekers beschreven ook proeven waarbij netwerken op basis van hun gewichten werden geïnterpreteerd en een netwerk voor het spel Breakout werd gemaakt. Volgens hun verslag schreef Astra de gewichten voor dat netwerk in één antwoord, zonder training of hulpmiddelen. Het netwerk scoorde twintig keer hoger dan een PPO-baseline die met 500 miljoen stappen was getraind. Dat is een claim over één specifieke spelopzet en vergelijking — geen bewijs dat de methode in het algemeen beter presteert dan reinforcement learning. 9
47
Deze demonstraties verbreden het idee achter weight-space programming, maar moeten niet worden verward met de reparatie van Qwen. Bij Qwen gebruikte Astra hulpmiddelen om het probleem te diagnosticeren; het Breakout-voorbeeld werd gepresenteerd als een afzonderlijk experiment waarin een netwerk werd opgebouwd. 9
20
32
De verdedigbare conclusie is dat dit een vroege, interessante demonstratie is van AI-ondersteunde modelreparatie via directe aanpassingen van parameters. De gerapporteerde cijfers zijn opmerkelijk en de vrijgegeven materialen maken controle mogelijk. Maar het bewijs is vooralsnog veel beperkter dan de algemene claim dat taalmodellen andere modellen goedkoop en betrouwbaar kunnen verbeteren. 16
33
35
54
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "GPT-6 Astra verbeterde Qwens rekenscore door een denkloop te repareren"?
Volgens de onderzoekers paste Astra 0,016% van Qwen3.5 0.8B’s gewichten aan. De score op MATH 500 steeg van 7,9% naar 48,1%, vooral doordat het model minder vaak in herhalende denkloops bleef hangen.
What are the key points to validate first?
Volgens de onderzoekers paste Astra 0,016% van Qwen3.5 0.8B’s gewichten aan. De score op MATH 500 steeg van 7,9% naar 48,1%, vooral doordat het model minder vaak in herhalende denkloops bleef hangen. De aanpak gebruikte Python probes en herhaald testen. Een beschreven experiment duurde ongeveer 20 uur: ‘zonder training’ betekende dus niet zonder tijd of rekenwerk.
What should I do next in practice?
Een openbaar aangepast model en een gemelde nieuwe MATH 500 test bieden enige steun voor reproduceerbaarheid, maar bewijzen niet dat de methode breed werkt voor andere modellen of taken.
Sources
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev