答え公開済み21 ソース
AIが別のAIの重みを直接編集、Qwenの数学スコアは7.9％から48.1％に
研究者らによると、GPT 6 AstraはQwen3.5 0.8Bの重みの0.016％を編集し、MATH 500のスコアを7.9％から48.1％に改善しました。主な狙いは、同じ考えを繰り返す推論ループの抑制です。 診断にはPythonを使った検証が伴い、報告された実行例は約20時間に及びました。「学習なし」は、手間や計算資源が不要という意味ではありません。
公開者GPT-6 Luna で編集GPT Image 2 で画像を生成
研究の答え
重要なポイント
- 研究者らによると、GPT 6 AstraはQwen3.5 0.8Bの重みの0.016％を編集し、MATH 500のスコアを7.9％から48.1％に改善しました。主な狙いは、同じ考えを繰り返す推論ループの抑制です。
- 診断にはPythonを使った検証が伴い、報告された実行例は約20時間に及びました。「学習なし」は、手間や計算資源が不要という意味ではありません。
- 編集済みモデルの公開やMATH 500の再実行結果は再現性を考える材料になりますが、幅広いモデルやタスクで同様の効果が出ると示されたわけではありません。
AI プロンプト
openai.comCreate a landscape editorial hero image for this Studio Global article: What did MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab report in their November 2 blog post about GPT-6 Astr. Article summary: The researchers reported that GPT-6 Astra could improve another neural network by editing its weights directly rather than training it; the available evidence corroborates the headline Qwen result of 7.9% to 48.1% on MAT. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
MIT CSAILの研究者、Rikiya Takehi氏、Jayden Teoh氏、Alex Zhang氏、Omar Khattab氏は、GPT-6 Astraを使って別のニューラルネットワークの重みを調べ、直接編集する実験を報告しました。注目を集めた例では、AstraがQwen3.5-0.8Bの重みのごく一部を書き換え、MATH-500のスコアが7.9％から48.1％に上がったとされています。とはいえ、最も慎重な読み方は「数学の能力を新たに加えた」というより、深刻な推論ループを抑え、モデルが持つ能力を発揮しやすくした、というものです。3
6
35
何をした実験なのか
研究チームはこの手法を**重み空間プログラミング（weight-space programming）**と呼んでいます。通常の学習で使われる勾配降下法によって重みを更新するのではなく、言語モデルが別のネットワークの数値パラメーターを読み取り、変更するという考え方です。Qwenの実験では、総数の0.016％に当たる131,072個の重みを変更したと報告されています。6
33
MATH-500での改善幅は大きく、GSM8KとIFEvalでも向上が報告されました。ただし、確認できる報道や資料からは、後者2つの結果が独立した追試で再現されたとは確認できません。35
42
また、Astraが何も使わず一度の操作で重みを編集した、という実験ではありません。報告によると、Pythonを使った調査やモデルの順方向計算（forward pass）で挙動を調べたうえで、修正を行っています。最終的な変更先は重みですが、そこに至る過程にはツールを使った反復的な診断がありました。20
32
主な問題は、同じ推論を繰り返すこと
研究チームが原因として挙げたのは、Qwenが考えを繰り返すループに陥りやすいことです。報告では、編集前はMATH-500の回答の93％が実験で設定した出力上限に達していましたが、編集後は33.1％に減りました。研究者らは、モデル内部の計算に狙いを定めた変更を加えた結果だと説明しています。3
20
つまり、改善は「それまでになかった数学的能力を追加した」というより、回答を最後まで出せなくする不具合を抑え、既存の能力を使いやすくしたものと考えられます。ループに陥ることが比較的少ないGemma 3 270Mで行った別のテストでは、数学のスコアに意味のある改善は見られませんでした。この対照は「弱点の修復」という見方を支えますが、重み編集で他の能力が向上する可能性を否定するものではありません。35
「学習なし」でも、検証には時間がかかった
報告された作業は、繰り返しの調査やテストを伴います。ある記録では、実行に約20時間、会話のやりとりに158ターンを要したとされています。別の説明では、Pythonの実行環境と、練習問題を使った順方向計算の予算が設けられていました。20
32
したがって「学習なし」は、「労力も計算もほとんど不要」という意味ではありません。勾配降下法や従来型の学習ループは使わなくても、問題を特定し、介入の効果を確かめる実験は必要です。今回の報告だけでは、編集を成功させるために最低限どれほどの検証が必要なのかまでは分かりません。20
32
どこまで確かで、何がまだ分からないのか
7.9％から48.1％という比較は目を引きますが、報告されたテスト条件で編集前後を比べた数字です。それだけで、モデルが幅広い新しい推論能力を獲得したとは言えません。回答が出力上限に達する割合の変化やGemmaとの比較を踏まえると、特定の弱点を修正した効果と見るのが適切です。3
35
編集済みのQwenチェックポイントは公開されており、公開された作業をもとに再構築してMATH-500を再実行したところ、51.0％に達したとの報告もあります。これは数学スコアを再現できる可能性を示す材料です。ただし、編集済みモデルのスコアを再現することと、Astraが問題を発見し、修正を導き出す全過程を独立に再現することは別です。33
54
GSM8KとIFEvalの改善については、独立した確認があったとは、現在の資料からは判断できません。また、QwenとGemmaの結果だけで、この手法がさまざまなモデルやタスクを安定して改善すると結論づけることもできません。研究者らは、重みを調べる能力を評価するベンチマークと、モデルが重みを探索・編集するための仕組みを開発中だとしています。再現性や適用範囲を確かめるには、そうした評価が重要になります。16
35
42
ゲームの実験は、Qwenの修正とは別の話
研究者らは、重みからネットワークの働きを読み取る実験や、ブロック崩し（Breakout）をプレイするネットワークを作る実験も紹介しました。チームの説明では、Astraは1回の返答でそのネットワークの重みを書き、学習もツールも使わずに、5億ステップ学習したPPOのベースラインの20倍のスコアを出したとされています。これは特定のゲーム環境と比較条件での主張であり、一般に強化学習を上回ることを示すものではありません。9
47
これらの例は重み空間プログラミングの可能性を広げるものですが、Qwenの修正実験とひとまとめにするべきではありません。Qwenではツールを使った診断が行われた一方、Breakoutは別のネットワーク構築実験として紹介されています。9
20
32
現時点で言えるのは、AIが別のモデルのパラメーターを直接編集し、弱点の修復を試みた興味深い初期事例だということです。報告された数字は注目に値し、公開資料によって検証も可能になっています。ただし、言語モデルが他のモデルを安価かつ安定して高性能化できる、という一般論を裏付けるには、まだ証拠が限られています。16
33
35
54
Studio Global AI
研究を続けてください
このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。
人々も尋ねます
「AIが別のAIの重みを直接編集、Qwenの数学スコアは7.9％から48.1％に」の短い答えは何ですか?
研究者らによると、GPT 6 AstraはQwen3.5 0.8Bの重みの0.016％を編集し、MATH 500のスコアを7.9％から48.1％に改善しました。主な狙いは、同じ考えを繰り返す推論ループの抑制です。
最初に検証する重要なポイントは何ですか?
研究者らによると、GPT 6 AstraはQwen3.5 0.8Bの重みの0.016％を編集し、MATH 500のスコアを7.9％から48.1％に改善しました。主な狙いは、同じ考えを繰り返す推論ループの抑制です。 診断にはPythonを使った検証が伴い、報告された実行例は約20時間に及びました。「学習なし」は、手間や計算資源が不要という意味ではありません。
次の実践では何をすればいいでしょうか？
編集済みモデルの公開やMATH 500の再実行結果は再現性を考える材料になりますが、幅広いモデルやタスクで同様の効果が出ると示されたわけではありません。
情報源
snowrock.comMIT researchers used GPT-6 Astra to fix Qwen’s thinking loops
aicoder.comAI Coding Live News — Real-Time X/Twitter Updates & Breakthroughs
rikiyat.github.ioSparks of Weight-Space Programming: LLMs can natively read & write neural network weights
huggingface.coakhaliq/Qwen3.5-0.8B-weight-space-programming · Hugging Face
daily.dev