AnswersPublished21 sources
Et lite inngrep i Qwen ga stor utslag på matteprøve
Forskerne rapporterte at Astra endret 0,016 prosent av vektene i Qwen3.5 0.8B, og at resultatet på MATH 500 steg fra 7,9 til 48,1 prosent. Forsøket brukte Python basert undersøkelse og testing.
Publisert avRedigert med GPT-6 LunaBilder generert med GPT Image 2
Research answer
Key takeaways
- Forskerne rapporterte at Astra endret 0,016 prosent av vektene i Qwen3.5 0.8B, og at resultatet på MATH 500 steg fra 7,9 til 48,1 prosent.
- Forsøket brukte Python basert undersøkelse og testing. En omtalt kjøring tok rundt 20 timer, så «uten trening» betyr ikke at metoden var rask eller ressursfri.
- En publisert modellversjon og en ny MATH 500 kjøring gir noe støtte for at resultatet kan gjenskapes.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Forskere ved MITs laboratorium CSAIL rapporterer at GPT-6 Astra kunne undersøke og redigere vektene – de numeriske verdiene som påvirker hvordan en nevralt nettverk oppfører seg – i en annen KI-modell. I det mest omtalte forsøket endret Astra en liten andel av Qwen3.5-0.8Bs vekter, og modellens resultat på matteprøven MATH-500 gikk fra 7,9 til 48,1 prosent. Den mest nøkterne tolkningen er at endringen rettet opp et alvorlig problem med gjentakende tankelooper, ikke at Astra ganske enkelt ga Qwen nye matematiske evner. 3
6
35
Hva forskerne gjorde
Forskerne kaller tilnærmingen weight-space programming: en språkmodell undersøker eller endrer en annen nevralt nettverks numeriske vekter, i stedet for å oppdatere dem gjennom vanlig, gradientbasert trening. I Qwen-forsøket skal Astra ha endret 131 072 vekter – 0,016 prosent av modellens totale antall. 6
33
Resultatet på MATH-500 steg markant. Forskerne rapporterte også forbedringer på GSM8K og IFEval, men den tilgjengelige omtalen viser ikke uavhengige gjentakelser av disse to resultatene. 35
42
Det var heller ikke slik at Astra gjorde én enkelt, isolert endring uten hjelpemidler. Beskrivelsene av forsøket viser at modellen brukte Python-basert undersøking og testkjøringer for å finne ut hvordan Qwen oppførte seg før vektene ble endret. Det er en viktig forskjell: Endringen ble gjort direkte i vektene, men prosessen rundt besto av verktøybruk og gjentatt feilsøking. 20
32
Problemet var at modellen gikk i ring
Forskerne rettet oppmerksomheten mot Qwens tendens til å gjenta resonnementer. Før endringen skal 93 prosent av Qwens svar på MATH-500 ha nådd grensen for hvor langt svaret kunne være. Etterpå var andelen 33,1 prosent. Forskerne knyttet forbedringen til en målrettet endring i modellens interne beregninger. 3
20
Det gjør resultatet lettere å forstå: Redigeringen ser ut til å ha hjulpet Qwen med å bruke evnene den allerede hadde, ved å fjerne en feil som ofte hindret den i å fullføre svarene. I en separat test med Gemma 3 270M, en modell som ifølge forskerne sjeldnere havnet i slike looper, ga forsøket ingen meningsfull forbedring i matte. Det støtter forklaringen om at Astra reparerte en konkret svakhet, men beviser ikke at redigering av vekter aldri kan forbedre andre egenskaper. 35
«Uten trening» betyr ikke uten arbeid
Den rapporterte prosessen omfattet gjentatte forsøk og testing. Én omtalt kjøring varte i rundt 20 timer og besto av 158 samtalerunder. En annen beskrivelse viser til en Python-økt og bruk av framoverberegninger på øvingsoppgaver. 20
32
Derfor bør «uten trening» ikke forstås som «uten tidsbruk eller regnekraft». Metoden unngikk gradientnedstigning og en vanlig treningssløyfe, men forskerne måtte fortsatt undersøke problemet og teste mulige inngrep. Resultatene fastslår heller ikke hvor mye testing som alltid må til for å lykkes med denne typen redigering. 20
32
Hva resultatene sier – og hva de ikke sier
Tallene før og etter endringen er slående, men må ses i sammenheng. De viser hvordan modellen gjorde det under det rapporterte testoppsettet. De beviser ikke i seg selv at Qwen fikk bredt nye evner til å resonnere. Endringen i andelen svar som stoppet ved lengdegrensen, og sammenligningen med Gemma, peker snarere mot en målrettet reparasjon av en bestemt svakhet. 3
35
Det finnes materiale andre kan undersøke: En redigert Qwen-modell er gjort tilgjengelig, og en rapportert ny kjøring basert på det publiserte arbeidet fikk 51,0 prosent på MATH-500. Det gir støtte for at matteforbedringen kan gjenskapes. Men å teste en ferdig redigert modell er ikke det samme som å gjenta Astras fulle prosess for å oppdage og gjennomføre endringen. 33
54
Den tilgjengelige omtalen dokumenterer ikke uavhengig bekreftelse av forbedringene på GSM8K og IFEval. Forsøkene med Qwen og Gemma viser heller ikke at metoden pålitelig kan forbedre vilkårlige modeller eller oppgaver. Forskerne sier at de utvikler en teststandard og et verktøyoppsett for å evaluere og støtte denne typen utforsking av modellvekter. Slike verktøy kan gjøre det lettere å undersøke hvor godt metoden lar seg gjenta. 16
35
42
Andre demonstrasjoner er egne påstander
Forskerne beskrev også forsøk der en modell tolket nevrale nettverk ut fra vektene deres, og der Astra laget et nettverk som kunne spille Breakout. Ifølge forskernes framstilling skrev Astra vektene til Breakout-nettverket i ett svar, uten trening eller verktøy. Nettverket oppnådde 20 ganger høyere poengsum enn en PPO-baseline som var trent i 500 millioner steg. Det gjelder et bestemt spilloppsett og en bestemt sammenligning – ikke en generell dokumentasjon på at metoden slår forsterkende læring. 9
47
Disse demonstrasjonene utvider ideen bak weight-space programming, men bør ikke blandes sammen med Qwen-forsøket. For Qwen brukte Astra verktøy til å undersøke problemet; Breakout-eksempelet ble presentert som et separat forsøk på å konstruere et nettverk. 9
20
32
Den forsvarlige konklusjonen er at dette er et tidlig og interessant eksempel på KI-assistert reparasjon av en modell gjennom direkte redigering av parametere. Resultatene er bemerkelsesverdige, og det publiserte materialet gjør det mulig å etterprøve deler av dem. Men dokumentasjonen er foreløpig langt smalere enn en generell påstand om at språkmodeller kan oppgradere andre modeller billig og pålitelig. 16
33
35
54
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Et lite inngrep i Qwen ga stor utslag på matteprøve"?
Forskerne rapporterte at Astra endret 0,016 prosent av vektene i Qwen3.5 0.8B, og at resultatet på MATH 500 steg fra 7,9 til 48,1 prosent.
What are the key points to validate first?
Forskerne rapporterte at Astra endret 0,016 prosent av vektene i Qwen3.5 0.8B, og at resultatet på MATH 500 steg fra 7,9 til 48,1 prosent. Forsøket brukte Python basert undersøkelse og testing. En omtalt kjøring tok rundt 20 timer, så «uten trening» betyr ikke at metoden var rask eller ressursfri.
What should I do next in practice?
En publisert modellversjon og en ny MATH 500 kjøring gir noe støtte for at resultatet kan gjenskapes.
Sources
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev