AnswersPublished21 sources
GPT-6 Astra muokkasi vain 0,016 prosenttia Qwenin painoista – ja korjasi päättelysilmukan
Tutkijoiden mukaan Astra muutti 0,016 prosenttia Qwen3.5 0.8B:n painoista. MATH 500 tulos nousi 7,9 prosentista 48,1 prosenttiin, kun mallin toistuva päättelysilmu väheni.
JulkaisijaMuokattu mallilla GPT-6 LunaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Tutkijoiden mukaan Astra muutti 0,016 prosenttia Qwen3.5 0.8B:n painoista. MATH 500 tulos nousi 7,9 prosentista 48,1 prosenttiin, kun mallin toistuva päättelysilmu väheni.
- Kokeessa käytettiin Python pohjaista tutkimista ja testaamista. Raportoidussa ajossa työtä kertyi noin 20 tuntia, joten ”ilman koulutusta” ei tarkoittanut vaivatonta tai laskennallisesti ilmaista.
- Muokattu malliversio ja raportoitu MATH 500 uusintatesti tukevat tuloksen toistettavuutta jossain määrin, mutta eivät osoita menetelmän toimivan yleisesti eri malleilla ja tehtävillä.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
MIT:n tietojenkäsittelytieteen ja tekoälyn CSAIL-laboratorion tutkijat Rikiya Takehi, Jayden Teoh, Alex Zhang ja Omar Khattab kertovat kokeesta, jossa GPT-6 Astra auttoi korjaamaan toisen neuroverkon toimintaa muokkaamalla sen painoja eli vastauksia ohjaavia numeerisia parametreja. Esimerkkitapauksessa Qwen3.5-0.8B:n MATH-500-tulos nousi 7,9 prosentista 48,1 prosenttiin, kun Astran kerrotaan muuttaneen vain pienen osan painoista. Varovaisin tulkinta on, että muutos auttoi korjaamaan vakavan päättelysilmukan – ei sitä, että Astra olisi vain lisännyt malliin matemaattista osaamista. 3
6
35
Mitä tutkijat raportoivat?
Tutkijat kutsuvat menetelmää weight-space programmingiksi, eli painoavaruudessa ohjelmoinniksi. Siinä kielimalli tarkastelee tai muuttaa toisen neuroverkon painoja sen sijaan, että mallia päivitettäisiin tavallisella gradienttipohjaisella koulutuksella. Qwen-kokeessa Astra muutti raporttien mukaan 131 072 painoa eli 0,016 prosenttia mallin kaikista painoista. 6
33
Tulos parani huomattavasti MATH-500-testissä. Tutkijat raportoivat edistystä myös GSM8K- ja IFEval-testeissä, mutta käytettävissä olevat tiedot eivät osoita, että nämä kaksi tulosta olisi riippumattomasti toistettu. 35
42
Kyse ei ollut siitä, että Astra olisi muokannut painoja täysin omin avuin yhdellä kertaa. Kuvausten mukaan se käytti Python-pohjaisia työkaluja ja mallin eteenpäinajoja selvittääkseen Qwenin toimintaa ennen muutosta. Lopullinen korjaus tehtiin painoihin, mutta prosessiin kuului työkalujen käyttöä ja vaiheittaista vianetsintää. 20
32
Ongelma näytti olevan toistuva päättely
Tutkijoiden kuvaama diagnoosi kohdistui Qwenin taipumukseen jäädä kiertämään samoja ajatuksia. Ennen muutosta 93 prosenttia mallin MATH-500-vastauksista ylsi kokeessa käytettyyn tulostusrajaan. Muutoksen jälkeen osuus oli 33,1 prosenttia. Tutkijat yhdistivät parannuksen kohdennettuun muutokseen mallin sisäisessä laskennassa. 3
20
Tämä auttaa tulkitsemaan tulosta: muutos näyttää auttaneen Qweniä hyödyntämään olemassa olevia kykyjään paremmin vähentämällä virhettä, joka esti sitä saamasta vastauksia valmiiksi. Erillisessä kokeessa Gemma 3 270M, jonka raportoitiin juuttuvan silmukoihin selvästi harvemmin, ei saavuttanut merkittävää matemaattista parannusta. Vertailu tukee ajatusta ongelman korjaamisesta, mutta ei todista, ettei painojen muokkaaminen voisi koskaan parantaa muitakin kykyjä. 35
”Ilman koulutusta” ei tarkoittanut vaivatonta
Prosessiin kuului toistuvaa vuorovaikutusta ja testaamista. Yhden kuvauksen mukaan ajo kesti noin 20 tuntia ja sisälsi 158 keskusteluvuoroa; toisessa kerrotaan Python-työskentelystä ja harjoitustehtävillä tehdyistä eteenpäinajoista. 20
32
Siksi ilmausta ”ilman koulutusta” ei kannata tulkita niin, ettei kokeilu vaatinut aikaa tai laskentaa. Menetelmässä vältettiin gradienttilaskenta ja tavanomainen koulutussilmukka, mutta ongelman paikantaminen ja muutoksen testaaminen edellyttivät silti kokeilua. Raportoitu tulos ei myöskään kerro, kuinka paljon testausta onnistunut painomuutos aina vaatii. 20
32
Mitä tulos osoittaa – ja mitä ei?
Lukujen välinen ero on huomattava, mutta se vaatii taustoitusta. Vertailu kertoo suorituskyvystä tutkijoiden käyttämässä testiasetelmassa ennen muutosta ja sen jälkeen. Se ei yksin osoita, että malli olisi saanut laaja-alaisesti uusia päättelykykyjä. Päättelysilmukoiden väheneminen ja Gemma-vertailu viittaavat pikemminkin rajatun heikkouden korjaamiseen. 3
35
Aineistoa on myös muiden tarkasteltavaksi: muokatusta Qwenistä on julkaistu tarkistuspiste, ja julkaistuun työhön perustuvassa raportoidussa uusintatestissä MATH-500-tulos oli 51,0 prosenttia. Tämä tukee sitä, että matemaattinen tulos voidaan toistaa muokatulla mallilla. Se ei kuitenkaan ole sama asia kuin Astran koko vianetsintä- ja muokkausprosessin riippumaton toistaminen. 33
54
Käytettävissä olevat tiedot eivät osoita GSM8K- ja IFEval-parannusten saaneen riippumatonta vahvistusta. Qwen- ja Gemma-kokeet eivät myöskään osoita, että menetelmä parantaisi luotettavasti mitä tahansa mallia tai tehtävää. Tutkijat kertovat kehittävänsä vertailutestiä ja työkalukehikkoa, joiden avulla painojen tutkimista ja muokkaamista voisi arvioida ja tukea. Niiden avulla voitaisiin selvittää, kuinka toistettavasta menetelmästä on kyse. 16
35
42
Muut demonstraatiot ovat erillisiä kokeita
Tutkijat kuvaavat myös kokeita, joissa verkkojen toimintaa tulkittiin niiden painoista ja rakennettiin Breakout-peliä pelaava verkko. Heidän mukaansa Astra kirjoitti Breakout-verkon painot yhdellä vastauksella ilman koulutusta tai työkaluja. Verkko sai tietyssä peliympäristössä 20 kertaa paremman tuloksen kuin 500 miljoonalla koulutusaskeleella koulutettu PPO-verrokki. Tämä koskee kyseistä peliä ja vertailua – se ei osoita menetelmän yleisesti päihittävän vahvistusoppimisen. 9
47
Demonstraatiot laajentavat painoavaruudessa ohjelmoinnin ideaa, mutta niitä ei pidä sekoittaa Qwenin korjaamiseen. Qwen-kokeessa käytettiin työkaluavusteista vianetsintää; Breakout-esimerkki esitettiin erillisenä kokeena uuden verkon rakentamisesta. 9
20
32
Perusteltu johtopäätös on, että kyseessä on varhainen ja kiinnostava esimerkki tekoälyn avustamasta mallin korjaamisesta suoraan sen parametreja muokkaamalla. Raportoidut luvut ovat huomionarvoisia, ja julkaistu aineisto mahdollistaa niiden tarkastelun. Näyttö on silti rajallisempaa kuin väite siitä, että kielimallit voisivat edullisesti ja luotettavasti parantaa mitä tahansa muita malleja. 16
33
35
54
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "GPT-6 Astra muokkasi vain 0,016 prosenttia Qwenin painoista – ja korjasi päättelysilmukan"?
Tutkijoiden mukaan Astra muutti 0,016 prosenttia Qwen3.5 0.8B:n painoista. MATH 500 tulos nousi 7,9 prosentista 48,1 prosenttiin, kun mallin toistuva päättelysilmu väheni.
What are the key points to validate first?
Tutkijoiden mukaan Astra muutti 0,016 prosenttia Qwen3.5 0.8B:n painoista. MATH 500 tulos nousi 7,9 prosentista 48,1 prosenttiin, kun mallin toistuva päättelysilmu väheni. Kokeessa käytettiin Python pohjaista tutkimista ja testaamista. Raportoidussa ajossa työtä kertyi noin 20 tuntia, joten ”ilman koulutusta” ei tarkoittanut vaivatonta tai laskennallisesti ilmaista.
What should I do next in practice?
Muokattu malliversio ja raportoitu MATH 500 uusintatesti tukevat tuloksen toistettavuutta jossain määrin, mutta eivät osoita menetelmän toimivan yleisesti eri malleilla ja tehtävillä.
Sources
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev