MIT CSAIL 研究人員 Rikiya Takehi、Jayden Teoh、Alex Zhang 與 Omar Khattab 報告，GPT-6 Astra 能透過分析並修改另一個神經網路的參數，協助修復模型問題。在最受矚目的案例中，Astra 修改了 Qwen3.5-0.8B 一小部分權重，模型在 MATH-500 的分數從 7.9% 升至 48.1%。較審慎的解讀是，這次修改處理了嚴重的推理迴圈問題，而非單純替 Qwen 增添數學能力。3635

這項實驗做了什麼？

研究團隊將這種方法稱為權重空間程式設計（weight-space programming）：讓語言模型直接檢視或修改另一個神經網路的數值權重，而不是透過傳統的梯度下降訓練來更新模型。據報，Astra 修改了 131,072 個權重，約占 Qwen3.5-0.8B 全部權重的 0.016%。633

研究團隊報告，Qwen 在 MATH-500 的表現大幅改善；GSM8K 與 IFEval 也有進步。不過，現有報導尚未顯示這兩項結果已有獨立重測。3542

這並不是 Astra 在毫無工具協助下、一步就改好模型。相關描述指出，Astra 先透過 Python 工具進行探查與前向傳播，了解模型的行為，再嘗試修改權重。換句話說，最後改動確實落在權重上，但過程包含工具輔助與反覆診斷。2032

改善的關鍵，可能是讓模型別再「原地打轉」

據報，研究團隊鎖定的問題是 Qwen 容易陷入重複思考迴圈。修改前，MATH-500 有 93% 的回答會耗盡實驗設定的輸出上限；修改後，比例降至 33.1%。研究人員將改善歸因於對模型內部運算所做的針對性調整。320

這讓結果更容易理解：修改可能讓 Qwen 更有效地運用原有能力，減少因反覆打轉而無法完成回答的情況。作為對照，研究團隊也測試了較少出現迴圈的 Gemma 3 270M，結果數學表現沒有明顯改善。這項差異支持「修復特定缺陷」的解讀，但不能證明權重編輯永遠無法提升其他能力。35

「沒有訓練」不代表不費工夫

據一份實驗紀錄，一次執行歷時約 20 小時，包含 158 輪對話；另一份報導則描述了 Python 工作階段，以及在練習題上進行前向傳播的測試安排。2032

因此，「沒有訓練」不應被理解為「不需投入時間或運算」。這種方法避開了梯度下降與傳統訓練流程，但仍需透過實驗診斷問題、測試修改效果。現有結果也沒有建立成功編輯模型所需的最低測試量。2032

哪些結論有依據，哪些仍待驗證？

MATH-500 分數的前後差距相當醒目，但仍須放在實驗脈絡中看：它反映的是特定測試設定下修改前後的表現，單憑這項比較，不能證明模型獲得了廣泛的新推理能力。迴圈比例下降，以及 Gemma 的對照結果，反而較支持「修復特定弱點」的解釋。335

目前已有修改後的 Qwen 檢查點可供檢視；另有報導稱，有人依據公開資料重建模型後，在 MATH-500 得到 51.0%。這讓數學測驗結果多了一些可重現的依據，但重測已修改模型的分數，並不等於獨立重做 Astra 從診斷到找出修改方法的整個過程。3354

目前的報導尚未證明 GSM8K 與 IFEval 的提升已獲獨立確認。Qwen 和 Gemma 的結果也不足以說明，這種方法能可靠地改善各種模型或任務。研究團隊表示，正在開發用來評估權重推理能力的基準測試，以及協助模型探索和編寫權重的工具；這些工作有助於檢驗方法能否重複使用，但本身還不是驗證結果。163542

其他示範是不同的實驗

研究團隊也描述了從權重判讀神經網路，以及建立能玩 Breakout 的網路等實驗。依團隊說法，Astra 在一次回覆中寫出該網路的權重，未經訓練或使用工具，得分是以 5 億步訓練的 PPO 基準模型的 20 倍。這是特定遊戲環境與比較條件下的結果，不能據此推論此方法一般而言勝過強化學習。947

這些示範拓展了權重空間程式設計的想法，但不宜與 Qwen 修復實驗混為一談：Qwen 案例使用工具輔助診斷；Breakout 則是另一項建立網路的實驗。92032

較站得住腳的結論是：AI 直接編輯模型參數、協助修復模型，已有一個值得關注的早期案例。研究數字引人注目，公開資料也讓外界有機會檢視；但目前證據的範圍，仍不足以支持「語言模型能低成本、可靠地全面升級其他模型」這種廣泛說法。16333554

MIT CSAIL 研究人員 Rikiya Takehi、Jayden Teoh、Alex Zhang 與 Omar Khattab 報告，GPT-6 Astra 能透過分析並修改另一個神經網路的參數，協助修復模型問題。在最受矚目的案例中，Astra 修改了 Qwen3.5-0.8B 一小部分權重，模型在 MATH-500 的分數從 7.9% 升至 48.1%。較審慎的解讀是，這次修改處理了嚴重的推理迴圈問題，而非單純替 Qwen 增添數學能力。3635

這項實驗做了什麼？

研究團隊將這種方法稱為權重空間程式設計（weight-space programming）：讓語言模型直接檢視或修改另一個神經網路的數值權重，而不是透過傳統的梯度下降訓練來更新模型。據報，Astra 修改了 131,072 個權重，約占 Qwen3.5-0.8B 全部權重的 0.016%。633

研究團隊報告，Qwen 在 MATH-500 的表現大幅改善；GSM8K 與 IFEval 也有進步。不過，現有報導尚未顯示這兩項結果已有獨立重測。3542

這並不是 Astra 在毫無工具協助下、一步就改好模型。相關描述指出，Astra 先透過 Python 工具進行探查與前向傳播，了解模型的行為，再嘗試修改權重。換句話說，最後改動確實落在權重上，但過程包含工具輔助與反覆診斷。2032

改善的關鍵，可能是讓模型別再「原地打轉」

據報，研究團隊鎖定的問題是 Qwen 容易陷入重複思考迴圈。修改前，MATH-500 有 93% 的回答會耗盡實驗設定的輸出上限；修改後，比例降至 33.1%。研究人員將改善歸因於對模型內部運算所做的針對性調整。320

這讓結果更容易理解：修改可能讓 Qwen 更有效地運用原有能力，減少因反覆打轉而無法完成回答的情況。作為對照，研究團隊也測試了較少出現迴圈的 Gemma 3 270M，結果數學表現沒有明顯改善。這項差異支持「修復特定缺陷」的解讀，但不能證明權重編輯永遠無法提升其他能力。35

「沒有訓練」不代表不費工夫

據一份實驗紀錄，一次執行歷時約 20 小時，包含 158 輪對話；另一份報導則描述了 Python 工作階段，以及在練習題上進行前向傳播的測試安排。2032

因此，「沒有訓練」不應被理解為「不需投入時間或運算」。這種方法避開了梯度下降與傳統訓練流程，但仍需透過實驗診斷問題、測試修改效果。現有結果也沒有建立成功編輯模型所需的最低測試量。2032

哪些結論有依據，哪些仍待驗證？

MATH-500 分數的前後差距相當醒目，但仍須放在實驗脈絡中看：它反映的是特定測試設定下修改前後的表現，單憑這項比較，不能證明模型獲得了廣泛的新推理能力。迴圈比例下降，以及 Gemma 的對照結果，反而較支持「修復特定弱點」的解釋。335

目前已有修改後的 Qwen 檢查點可供檢視；另有報導稱，有人依據公開資料重建模型後，在 MATH-500 得到 51.0%。這讓數學測驗結果多了一些可重現的依據，但重測已修改模型的分數，並不等於獨立重做 Astra 從診斷到找出修改方法的整個過程。3354

目前的報導尚未證明 GSM8K 與 IFEval 的提升已獲獨立確認。Qwen 和 Gemma 的結果也不足以說明，這種方法能可靠地改善各種模型或任務。研究團隊表示，正在開發用來評估權重推理能力的基準測試，以及協助模型探索和編寫權重的工具；這些工作有助於檢驗方法能否重複使用，但本身還不是驗證結果。163542

其他示範是不同的實驗

研究團隊也描述了從權重判讀神經網路，以及建立能玩 Breakout 的網路等實驗。依團隊說法，Astra 在一次回覆中寫出該網路的權重，未經訓練或使用工具，得分是以 5 億步訓練的 PPO 基準模型的 20 倍。這是特定遊戲環境與比較條件下的結果，不能據此推論此方法一般而言勝過強化學習。947

這些示範拓展了權重空間程式設計的想法，但不宜與 Qwen 修復實驗混為一談：Qwen 案例使用工具輔助診斷；Breakout 則是另一項建立網路的實驗。92032

較站得住腳的結論是：AI 直接編輯模型參數、協助修復模型，已有一個值得關注的早期案例。研究數字引人注目，公開資料也讓外界有機會檢視；但目前證據的範圍，仍不足以支持「語言模型能低成本、可靠地全面升級其他模型」這種廣泛說法。16333554