答え公開済み19 ソース
AIが「攻略ノート」とシミュレーターを自作 Memento 3、183レベルを全制覇
Memento 3はARC AGI 3の公開セット全25ゲーム・183レベルを、計7,518回の操作でクリアしたと報告されています。人間の操作数17,135回に対し約44％です。[8][27] 中核は、ゲームの規則を記録するルールブックと、それを実行可能なコードにした世界モデル。予測と実際の結果が違えば、ルールやコードを見直します。[1][5][6] 基盤モデルはClaude Opus 5で、報告によれば重みの更新やゲームごとのファインチューニングは行っていません。[10][13][14]
公開者GPT Image 2 で画像を生成
研究の答え
重要なポイント
- Memento 3はARC AGI 3の公開セット全25ゲーム・183レベルを、計7,518回の操作でクリアしたと報告されています。人間の操作数17,135回に対し約44％です。[8][27]
- 中核は、ゲームの規則を記録するルールブックと、それを実行可能なコードにした世界モデル。予測と実際の結果が違えば、ルールやコードを見直します。[1][5][6]
- 基盤モデルはClaude Opus 5で、報告によれば重みの更新やゲームごとのファインチューニングは行っていません。[10][13][14]
- 成果は公開ゲームでのものです。非公開評価や現実環境での性能、各要素が改善にどれほど寄与したかは、ここで確認できる情報だけでは判断できません。
AI プロンプト
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Memento 3, developed by Huawei Noah’s Ark Lab, University College London and partners, clear all 25 games and 183 levels of the ARC. Article summary: Memento 3’s reported gain came from changing the agent’s external memory and planning machinery—not the language model’s weights: it repeatedly wrote, tested and revised a rulebook and executable simulator, then used tha. Topic tags: general web, llm, ai, workflow, productivity. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts
未知のゲームを前にしたAIに、攻略法をその場で考えさせるだけではなく、「いま分かっている規則」を書き残し、実際に動くシミュレーターにして試させる——。華為ノアの方舟研究所、ユニバーシティ・カレッジ・ロンドン（UCL）などの研究チームが開発したエージェント「Memento 3」は、この方法でARC-AGI-3の公開セットを攻略したと報告されています。
ARC-AGI-3は、ルールやゴール、操作方法があらかじめ説明されないピクセル調のゲームを扱う対話型ベンチマークです。報告によると、Memento 3は公開セットの全25ゲーム・183レベルを7,518回の操作でクリアし、RHAE（人間に対する相対的な行動効率）で満点の100を記録しました。同じ内容を人間がクリアする際の操作数は17,135回で、Memento 3はその約44％、つまり約56％少ない操作で終えた計算です。8
27
「考え続ける」より、分かったことを外部に残す
Memento 3の工夫は、基盤となる言語モデル自体を訓練し直すことではありません。エージェントはゲームを観察して得た知識を外部の記憶に記録し、それを使って次の手を計画します。1
5
6
仕組みは大きく二つです。
- ルールブック：ゲーム内の物体や操作の意味、仕掛けの動きなど、現在の理解をMarkdown形式で記録します。未確認のルールは、確定事項として扱わず「まだ分からない」と残せます。
1
5
7
- 実行可能な世界モデル：ルールブックの内容をPythonコードにし、ゲーム内の状態変化を予測する簡易シミュレーターを作ります。エージェントはこれを使って行動を先読みします。
14
その後も、観察、振り返り、ルールの修正、コード化、検証というサイクルを回します。予測と実際のゲーム展開に食い違いがあれば、記録した規則やコードを見直す、という考え方です。1
5
たとえば、ある仕掛けに乗ると持っているバッジがどう変化するかを学ぶ例が紹介されています。最初の仮説を、実際の観察を踏まえて「バッジが時計回りに90度回転する」と修正する、といった形です。5 また、ルールブックやコードの変更履歴をGitで管理し、誤った修正を後から確認したり、以前の版に戻したりできると報じられています。
14
つまり、ここでいう「自己改善」は、言語モデルの重みを自動で書き換えることではありません。モデルは固定したまま、外部に置いた知識とプログラムを更新し、環境についての理解を深めていく方式です。1
6
比較結果が示すこと、示さないこと
Memento 3の基盤モデルはClaude Opus 5で、報告ではモデルの重み更新やゲーム別のファインチューニングは行われていません。10
13
14 同じモデル単体の公式ベンチマーク用ハーネスでのスコアは、RHAE約40.7と報じられています。
10
14 ただし、この差だけから世界モデルやルールブックなど、個々の要素がどれだけ改善に寄与したかを切り分けることはできません。計算資源をそろえた比較かどうかも、ここで確認できる情報からは判断できません。
報道には、複数モデルの比較や操作数の削減を示す実験も紹介されています。しかし、今回参照できる資料だけでは、3ゲームでの約9％削減や、ある1ゲームでの899回から597回への減少を独立に確認できません。仮に数値が正しくても、対象が限られた実験結果をベンチマーク全体に一般化することはできません。
また、ベースラインとして「99 RHAE、8,347回の操作」という数値や、最高の推論設定を使ったという記述についても、参照できる資料だけでは確認が不十分です。
Pongで示した「学んだ後はモデルなしで動く」可能性
論文の抜粋では、Memento 3が学習したフィードバック制御プログラムを使い、評価した3回のPongでいずれも21対0で勝利したとされています。異なる初期展開でも、プレイ中に追加のLLM呼び出しは必要なかったとのことです。1
この結果が示すのは、言語モデルが規則を学び、実行可能な制御方法に落とし込めば、その後のプレイをプログラムに任せられる可能性です。一方、約9,500フレームの探索で学習したという数値や、ボールの反射法則を具体的にどう推定したかは、参照できる抜粋からは確認できません。
成果の範囲と残る課題
今回の報告が示すのは、公開されたゲーム群での結果です。非公開の評価用ゲームでも同じ成績になることや、観測が不完全で状況が変化する現実環境で同様に機能することまでは証明していません。7
27
また、操作回数が少ないことだけでは、トークン使用量、処理時間、費用まで少ないとは言えません。Memento 3は、未知の環境を明示的なルールと実行可能なモデルに落とし込み、予測と観察を照らし合わせる有望な方法を示しました。ただし、汎用的な現実世界のエージェントとして確立したと結論づけるには、なお追加の検証が必要です。1
7
Studio Global AI
研究を続けてください
このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。
人々も尋ねます
「AIが「攻略ノート」とシミュレーターを自作 Memento 3、183レベルを全制覇」の短い答えは何ですか?
Memento 3はARC AGI 3の公開セット全25ゲーム・183レベルを、計7,518回の操作でクリアしたと報告されています。人間の操作数17,135回に対し約44％です。[8][27]
最初に検証する重要なポイントは何ですか?
Memento 3はARC AGI 3の公開セット全25ゲーム・183レベルを、計7,518回の操作でクリアしたと報告されています。人間の操作数17,135回に対し約44％です。[8][27] 中核は、ゲームの規則を記録するルールブックと、それを実行可能なコードにした世界モデル。予測と実際の結果が違えば、ルールやコードを見直します。[1][5][6]
次の実践では何をすればいいでしょうか？
基盤モデルはClaude Opus 5で、報告によれば重みの更新やゲームごとのファインチューニングは行っていません。[10][13][14]
情報源
cctest.aiHow Memento 3 Used World Models to Beat 25 Games - CCTest
x.comHuawei Noah's Ark Lab's Memento 3 Agent Clears All 25 ARC-AGI-3 Public Games With a Frozen Model
ai-pulse-lab.comAI 自己给自己写规则书，然后照着升级 · AI Pulse 论文解读