AnswersPublished21 sources
GPT-6 Astra naprawił pętle rozumowania w Qwenie, edytując ułamek jego wag
Badacze podali, że Astra zmienił 0,016% wag Qwen3.5 0.8B, a wynik modelu w teście MATH 500 wzrósł z 7,9% do 48,1%. Model przed zmianą często generował odpowiedzi aż do limitu długości.
Opublikowane przezEdytowane za pomocą GPT-6 LunaObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- Badacze podali, że Astra zmienił 0,016% wag Qwen3.5 0.8B, a wynik modelu w teście MATH 500 wzrósł z 7,9% do 48,1%.
- Model przed zmianą często generował odpowiedzi aż do limitu długości. Diagnoza wykorzystywała sondowanie z użyciem Pythona, więc „bez trenowania” nie oznaczało pracy bez narzędzi ani bez obliczeń.
- Udostępniony checkpoint i opisane ponowne sprawdzenie wyniku dają pewne podstawy do weryfikacji, ale nie pokazują, że metoda działa szeroko na różnych modelach i zadaniach.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Badacze z MIT CSAIL — Rikiya Takehi, Jayden Teoh, Alex Zhang i Omar Khattab — opisali eksperyment, w którym GPT-6 Astra pomógł poprawić inny model językowy, bezpośrednio modyfikując jego parametry. W najgłośniejszym przykładzie Astra zmienił niewielką część wag Qwen3.5-0.8B, a wynik modelu w teście MATH-500 wzrósł z 7,9% do 48,1%. Najostrożniej można odczytać ten rezultat jako naprawę poważnego problemu z zapętlaniem się odpowiedzi, a nie jako proste „dodanie” modelowi zdolności matematycznych. 3
6
35
Na czym polegało programowanie w przestrzeni wag?
Badacze nazwali tę metodę weight-space programming, czyli programowaniem w przestrzeni wag. Chodzi o to, że model językowy analizuje lub zmienia liczby określające działanie innej sieci neuronowej, zamiast aktualizować je w tradycyjnym procesie trenowania opartym na gradientach. Według relacji Astra zmienił 131 072 wagi — 0,016% wszystkich wag Qwen3.5-0.8B. 6
33
Na MATH-500 poprawa była duża. Badacze zgłosili również lepsze wyniki Qwena w GSM8K i IFEval, ale dostępne relacje nie przedstawiają niezależnego powtórzenia tych dwóch rezultatów. 35
42
Warto też doprecyzować, że Astra nie dokonał poprawki w całkowitej izolacji ani jednym ruchem. Opisy eksperymentu mówią o wykorzystaniu Pythona do sondowania modelu i uruchamiania go na kolejnych przykładach, by ustalić, skąd bierze się problem. Zmiana dotyczyła wag, ale droga do niej obejmowała narzędzia i iteracyjne testowanie. 20
32
Problemem były powtarzające się pętle
Według badaczy Qwen miał tendencję do utknięcia w powtarzalnym toku rozumowania. Przed poprawką 93% odpowiedzi w teście MATH-500 miało dochodzić do limitu generowania; po zmianie było to 33,1%. Zespół przypisał poprawę ukierunkowanej modyfikacji wewnętrznych obliczeń modelu. 3
20
To ważny kontekst dla efektownego wyniku. Jeśli model zapętla się i nie kończy odpowiedzi, może nie wykorzystywać tego, co już potrafi. Usunięcie takiej przeszkody może więc podnieść wynik bez stworzenia zupełnie nowej umiejętności.
Wskazuje na to również osobny test z modelem Gemma 3 270M, który — według raportu — znacznie rzadziej wpadał w pętle. W jego przypadku Astra nie uzyskał istotnej poprawy w matematyce. To pasuje do interpretacji, że naprawa Qwena polegała na usunięciu konkretnej słabości, choć samo porównanie nie dowodzi, że edycja wag nigdy nie może poprawić innych zdolności. 35
„Bez trenowania” nie znaczy „bez pracy”
Opis jednego z przebiegów mówi o około 20 godzinach pracy i 158 turach rozmowy. Inna relacja wspomina o sesji z Pythonem i budżecie przejść modelu na przykładach treningowych. 20
32
Dlatego hasła „bez trenowania” nie należy rozumieć jako „bez wysiłku i kosztu obliczeniowego”. Metoda omijała gradienty i konwencjonalną pętlę treningową, ale nadal wymagała testowania, diagnozowania problemu i sprawdzania skutków interwencji. Dostępne relacje nie ustalają, ile prób potrzeba, by podobna edycja udała się w innych przypadkach. 20
32
Co wyniki potwierdzają, a czego jeszcze nie?
Porównanie 7,9% i 48,1% robi wrażenie, ale opisuje rezultat w konkretnym teście i przy określonej procedurze. Samo w sobie nie dowodzi, że model zyskał szerokie, nowe zdolności rozumowania. Spadek liczby odpowiedzi dochodzących do limitu oraz porównanie z Gemmą wskazują raczej na naprawę konkretnego problemu. 3
35
Udostępniono zmodyfikowany checkpoint Qwena, a opisane ponowne odtworzenie wyniku z wykorzystaniem opublikowanych materiałów osiągnęło 51,0% w MATH-500. To daje pewne wsparcie dla powtarzalności wyniku matematycznego. Nie jest jednak tym samym co niezależne powtórzenie całego procesu, w którym Astra zdiagnozował problem i znalazł poprawkę. 33
54
Dostępne relacje nie potwierdzają niezależnie zgłoszonych popraw w GSM8K i IFEval. Wyniki z Qwena i Gemmy nie pokazują też, że metoda niezawodnie ulepsza dowolny model lub zadanie. Autorzy zapowiedzieli prace nad benchmarkiem i narzędziami do testowania oraz wspierania takiej eksploracji wag. Mogłyby pomóc ocenić, jak powtarzalna jest ta metoda. 16
35
42
Inne demonstracje to osobne eksperymenty
Badacze opisali także próby odczytywania informacji o sieciach na podstawie ich wag oraz stworzenia sieci grającej w Breakout. Według ich relacji Astra zapisał wagi tej sieci w jednej odpowiedzi, bez trenowania i narzędzi, a uzyskany wynik był 20 razy wyższy niż w przypadku bazowego agenta PPO trenowanego przez 500 milionów kroków. To rezultat z konkretnego środowiska i konkretnego porównania — nie dowód na ogólną przewagę nad uczeniem ze wzmocnieniem. 9
47
Te przykłady poszerzają zakres pomysłu na programowanie w przestrzeni wag, ale nie należy ich utożsamiać z naprawą Qwena. W eksperymencie z Qwenem Astra korzystał z narzędzi do diagnozy; przykład z Breakout dotyczył osobnego eksperymentu polegającego na stworzeniu sieci. 9
20
32
Najbardziej uzasadniony wniosek jest więc ostrożny: to wczesny, interesujący przykład wspomaganej przez AI naprawy modelu przez bezpośrednią edycję jego parametrów. Zgłoszone wyniki są warte uwagi, a udostępnione materiały umożliwiają ich analizę. Na razie jednak nie uzasadniają szerokiej tezy, że modele językowe potrafią tanio i niezawodnie ulepszać inne modele. 16
33
35
54
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "GPT-6 Astra naprawił pętle rozumowania w Qwenie, edytując ułamek jego wag"?
Badacze podali, że Astra zmienił 0,016% wag Qwen3.5 0.8B, a wynik modelu w teście MATH 500 wzrósł z 7,9% do 48,1%.
What are the key points to validate first?
Badacze podali, że Astra zmienił 0,016% wag Qwen3.5 0.8B, a wynik modelu w teście MATH 500 wzrósł z 7,9% do 48,1%. Model przed zmianą często generował odpowiedzi aż do limitu długości. Diagnoza wykorzystywała sondowanie z użyciem Pythona, więc „bez trenowania” nie oznaczało pracy bez narzędzi ani bez obliczeń.
What should I do next in practice?
Udostępniony checkpoint i opisane ponowne sprawdzenie wyniku dają pewne podstawy do weryfikacji, ale nie pokazują, że metoda działa szeroko na różnych modelach i zadaniach.
Sources
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev