答案已發布21 來源
GPT-6 Astra只改Qwen 0.016%權重，MATH-500分數由7.9%升至48.1%
研究人員報告，GPT 6 Astra修改Qwen3.5 0.8B的131,072個權重，佔全模型0.016%；MATH 500分數由7.9%升至48.1%，主要改善似乎來自減少重複推理。 實驗有使用Python工具探測模型行為；有報道指一次測試歷時約20小時，因此「沒有訓練」不代表不用時間、運算或反覆測試。
發布者使用 GPT-6 Luna 編輯圖片由 GPT Image 2 生成
研究答案
重點
- 研究人員報告，GPT 6 Astra修改Qwen3.5 0.8B的131,072個權重，佔全模型0.016%；MATH 500分數由7.9%升至48.1%，主要改善似乎來自減少重複推理。
- 實驗有使用Python工具探測模型行為；有報道指一次測試歷時約20小時，因此「沒有訓練」不代表不用時間、運算或反覆測試。
- 公開模型檢查點及一次MATH 500重測，為結果提供一定可檢視性，但仍未證明方法能穩定適用於不同模型或任務。
AI 提示
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
MIT CSAIL研究人員Rikiya Takehi、Jayden Teoh、Alex Zhang及Omar Khattab報告，GPT-6 Astra能透過分析和修改另一個神經網絡的權重，協助修補模型問題。最受注目的例子是：Astra改動Qwen3.5-0.8B一小部分權重後，模型在MATH-500的分數由7.9%升至48.1%。不過，較審慎的解讀是，這次修改針對模型嚴重的推理循環問題，而不是Astra憑空替它「加上」數學能力。3
6
35
這次實驗做了甚麼？
研究團隊把方法稱為 weight-space programming（權重空間程式設計）：讓語言模型檢視或直接修改另一個神經網絡的數值權重，而不是用傳統的梯度下降方式更新模型。據報，Astra在Qwen實驗中改動了131,072個權重，約佔模型總權重的0.016%。6
33
MATH-500分數升幅明顯。研究人員亦報告，模型在GSM8K及IFEval上的表現有所提升；不過，現有報道未顯示這兩項結果已獲獨立重複驗證。35
42
這也不是Astra在沒有工具協助下，一次過修改權重就得出結果。相關報道形容，Astra先透過Python探測模型、進行前向運算，了解模型出錯方式，再作出修改。換言之，最後改動確實落在權重上，但整個過程包含工具輔助和反覆診斷。20
32
主要修補的是「諗極都未完」
研究團隊的診斷集中在Qwen反覆陷入思考循環的問題。據報，修改前有93%的MATH-500回答用盡實驗設定的輸出上限；修改後比例降至33.1%。研究人員認為，針對模型內部計算方式作出調整，有助改善這個問題。3
20
這令分數升幅較容易理解：模型可能本身已有一定解題能力，但答案不斷重複推理，未能順利完成。減少這種失誤模式，便可能令原有能力較有效地發揮出來。
作為對照，研究人員亦測試了較少出現循環問題的Gemma 3 270M，結果未能帶來有意義的數學提升。這個對比支持「修補障礙」的解讀，但不能證明權重修改永遠無法提升其他能力。35
「沒有訓練」不等於不用花工夫
據報，相關過程包括多輪互動和測試；其中一個記錄描述，實驗歷時約20小時，來回對話158輪。另一份報道則提到，Astra在Python環境中檢視模型，並使用練習題進行前向運算測試。20
32
所以，「沒有訓練」應理解為沒有使用梯度下降及傳統訓練流程，而不是完全不費資源。研究仍需要透過實驗找出問題、嘗試介入方式，再檢查效果。現有結果亦未能說明，成功修改模型最低限度需要多少測試或運算。20
32
結果值得留意，但證據仍有邊界
由7.9%升至48.1%的比較相當搶眼，但它反映的是研究所用測試設定下，修改前後的表現差異；單憑這個數字，不能推論模型獲得了廣泛的新推理能力。推理循環比例下降，以及Gemma對照測試的結果，反而更符合「針對特定弱點作修補」的說法。3
35
外界已有材料可以檢視：修改後的Qwen檢查點已公開；另有報道指，根據已發布資料重建模型後，MATH-500分數達51.0%。這為數學測試結果能否重現提供了一些證據，但重測一個已修改的檢查點，並不等同獨立重做Astra如何發現問題、再決定怎樣修改的整個過程。33
54
至於GSM8K和IFEval的提升，目前報道未能證明已獲獨立確認；Qwen與Gemma的實驗，也不足以證明這種方法能可靠改善任意模型或任務。研究人員表示正籌備評測基準和工具框架，協助評估及支援模型探索、修改權重；這些工作日後有望檢驗方法是否可重複，但計劃本身並非驗證結果。16
35
42
其他示範是另一回事
研究團隊亦提到分析網絡權重，以及建立能玩Breakout的網絡等實驗。據研究團隊的說法，Astra在一次回覆中寫出Breakout網絡的權重，沒有訓練或使用工具；在該遊戲設定下，表現是以500 million步訓練的PPO基準的20倍。這是特定遊戲和比較方式下的結果，不代表這種方法普遍勝過強化學習。9
47
這些示範擴闊了「權重空間程式設計」的概念，但不應與Qwen修補實驗混為一談：Qwen實驗有工具協助診斷，Breakout則是另一項建立網絡的示範。9
20
32
較穩妥的結論是，這是一個值得關注的早期案例：AI或可透過直接修改參數協助修補模型。報告數字亮眼，公開材料亦讓外界有機會檢視；但現階段證據仍未支持更廣泛的說法——語言模型已能以低成本、可靠地升級其他模型。16
33
35
54
Studio Global AI
繼續你的研究
此頁麵包含一個有來源支援的答案，您可以在 Studio Global 內繼續。
人們還問
「GPT-6 Astra只改Qwen 0.016%權重，MATH-500分數由7.9%升至48.1%」的簡短答案是什麼？
研究人員報告，GPT 6 Astra修改Qwen3.5 0.8B的131,072個權重，佔全模型0.016%；MATH 500分數由7.9%升至48.1%，主要改善似乎來自減少重複推理。
首先要驗證的關鍵點是什麼？
研究人員報告，GPT 6 Astra修改Qwen3.5 0.8B的131,072個權重，佔全模型0.016%；MATH 500分數由7.9%升至48.1%，主要改善似乎來自減少重複推理。 實驗有使用Python工具探測模型行為；有報道指一次測試歷時約20小時，因此「沒有訓練」不代表不用時間、運算或反覆測試。
接下來在實務上我該做什麼？
公開模型檢查點及一次MATH 500重測，為結果提供一定可檢視性，但仍未證明方法能穩定適用於不同模型或任務。
來源
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev