AnswersPublished21 sources
Malý zásah do vah Qwenu výrazně zlepšil jeho výsledek z matematiky
Výzkumníci uvedli, že Astra změnila 0,016 % vah modelu Qwen3.5 0.8B a zvýšila jeho skóre v testu MATH 500 ze 7,9 % na 48,1 %. Experiment se neobešel bez práce: Astra zkoumala chování modelu pomocí Pythonu a jeden popsaný běh trval zhruba 20 hodin.
PublikovalUpraveno pomocí GPT-6 LunaObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- Výzkumníci uvedli, že Astra změnila 0,016 % vah modelu Qwen3.5 0.8B a zvýšila jeho skóre v testu MATH 500 ze 7,9 % na 48,1 %.
- Experiment se neobešel bez práce: Astra zkoumala chování modelu pomocí Pythonu a jeden popsaný běh trval zhruba 20 hodin.
- Upravený model i záznamy z experimentu jsou dostupné a zveřejněno bylo také opakované měření výsledku v MATH 500.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Výzkumníci z MIT CSAIL Rikiya Takehi, Jayden Teoh, Alex Zhang a Omar Khattab uvedli, že GPT-6 Astra dokázala pomoci opravit jinou neuronovou síť přímou úpravou jejích parametrů. V nejvýraznějším příkladu změnila malou část vah modelu Qwen3.5-0.8B a jeho skóre v testu MATH-500 vzrostlo ze 7,9 % na 48,1 %. Nejopatrnější výklad? Zásah podle všeho řešil závažné opakování v uvažování, nikoli jednoduše „přidal“ modelu matematické schopnosti. 3
6
35
Co výzkumníci popsali
Autoři pro svůj přístup používají označení weight-space programming, česky zhruba programování v prostoru vah. Jazykový model při něm zkoumá nebo upravuje číselné parametry jiné neuronové sítě — místo toho, aby se model učil obvyklým trénováním založeným na gradientním sestupu. V případě Qwenu Astra podle zpráv změnila 131 072 vah, tedy 0,016 % všech parametrů modelu. 6
33
Nárůst výsledku v MATH-500 byl výrazný. Výzkumníci oznámili také zlepšení v testech GSM8K a IFEval, dostupné zprávy však neuvádějí jejich nezávislé zopakování. 35
42
Nešlo přitom o to, že by Astra sama bez dalších pomůcek jednou nahlédla do vah a hned provedla úspěšnou změnu. Podle popisů využívala nástroje v Pythonu a opakovaně spouštěla model, aby zjistila, jak se chová. Změna se nakonec skutečně týkala vah, cesta k ní ale zahrnovala diagnostiku a průběžné testování. 20
32
Cílem mělo být opakující se uvažování
Podle zveřejněného popisu se Astra zaměřila na to, že Qwen opakovaně uvízl v myšlenkových smyčkách. Před úpravou údajně 93 % jeho odpovědí v MATH-500 dosáhlo limitu délky výstupu; po zásahu to bylo 33,1 %. Výzkumníci zlepšení připsali cílené změně vnitřního výpočtu modelu. 3
20
To pomáhá výsledek zasadit do souvislostí: úprava zřejmě Qwenu umožnila účinněji využít schopnosti, které už měl, tím, že omezila problém bránící mu dokončit odpovědi. V samostatném testu modelu Gemma 3 270M, u něhož se opakování objevovalo mnohem méně, Astra významné zlepšení v matematice nepřinesla. Tento rozdíl podporuje vysvětlení, že šlo především o opravu konkrétní slabiny. Nedokazuje však, že úpravami vah nelze nikdy zlepšit jiné schopnosti. 35
„Bez trénování“ neznamenalo bez práce
Popsaný postup zahrnoval opakované interakce a zkoušení. Jeden záznam uvádí běh trvající přibližně 20 hodin a 158 konverzačních tahů; jiný popisuje práci v Pythonu a omezený počet průchodů modelu na cvičných úlohách. 20
32
Označení „bez trénování“ tedy neznamená „bez námahy a výpočetních nákladů“. Metoda se vyhnula gradientnímu sestupu a běžnému trénovacímu cyklu, stále ale vyžadovala experimentování: bylo potřeba najít zdroj problému a ověřit, zda zásah pomohl. Zveřejněný výsledek neurčuje, kolik testování je pro úspěšnou úpravu potřeba obecně. 20
32
Co výsledky dokládají — a co zatím ne
Skok v MATH-500 je nápadný, je ale potřeba číst ho v kontextu. Jde o srovnání výkonu před úpravou a po ní za podmínek daného experimentu. Samo o sobě neukazuje, že model získal obecně nové schopnosti uvažování. Změna v četnosti opakování i srovnání s Gemmou spíše ukazují na cílenou opravu konkrétní slabiny. 3
35
Část výsledků si mohou ověřit i další zájemci: upravená verze Qwenu je dostupná a podle zveřejněné zprávy dosáhlo opakované měření tohoto modelu v MATH-500 skóre 51,0 %. To podporuje možnost zopakovat matematický výsledek na upraveném modelu. Není to ale totéž jako nezávisle zopakovat celý proces, kterým Astra problém objevila a navrhla zásah. 33
54
Dostupné zprávy nepotvrzují nezávislé ověření zlepšení v GSM8K a IFEval. Výsledky s Qwenem a Gemmou také nedokládají, že tato technika spolehlivě vylepší libovolný model nebo úlohu. Autoři uvedli, že připravují benchmark a nástrojový rámec, které mají hodnocení a zkoumání vah usnadnit. Mohly by pomoci ověřit, nakolik je tento postup opakovatelný. 16
35
42
Další ukázky jsou samostatné experimenty
Výzkumníci popsali také pokusy s rozpoznáváním sítí podle jejich vah a s vytvořením neuronové sítě pro hru Breakout. Podle jejich zprávy Astra v jediné odpovědi napsala váhy sítě pro tuto hru, bez trénování a bez nástrojů. Síť dosáhla dvacetkrát vyššího skóre než srovnávací PPO model trénovaný 500 miliony kroků. Jde o tvrzení týkající se konkrétní hry a konkrétního srovnání, nikoli o důkaz, že tato metoda obecně překonává posilované učení. 9
47
Tyto ukázky rozšiřují představu o tom, co by programování v prostoru vah mohlo zahrnovat, nelze je ale zaměňovat s opravou Qwenu. Při experimentu s Qwenem Astra používala nástroje k diagnostice; příklad s Breakoutem autoři představili jako samostatný pokus o vytvoření sítě. 9
20
32
Střízlivý závěr: jde o ranou a zajímavou ukázku toho, jak může AI pomoci opravit model přímou změnou jeho parametrů. Výsledky jsou pozoruhodné a zveřejněné materiály umožňují další kontrolu. Důkazy jsou však zatím užší než obecné tvrzení, že jazykové modely dokážou levně a spolehlivě vylepšovat jiné modely. 16
33
35
54
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Malý zásah do vah Qwenu výrazně zlepšil jeho výsledek z matematiky"?
Výzkumníci uvedli, že Astra změnila 0,016 % vah modelu Qwen3.5 0.8B a zvýšila jeho skóre v testu MATH 500 ze 7,9 % na 48,1 %.
What are the key points to validate first?
Výzkumníci uvedli, že Astra změnila 0,016 % vah modelu Qwen3.5 0.8B a zvýšila jeho skóre v testu MATH 500 ze 7,9 % na 48,1 %. Experiment se neobešel bez práce: Astra zkoumala chování modelu pomocí Pythonu a jeden popsaný běh trval zhruba 20 hodin.
What should I do next in practice?
Upravený model i záznamy z experimentu jsou dostupné a zveřejněno bylo také opakované měření výsledku v MATH 500.
Sources
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev