MagicLabは、ロボット操作向けのフレームワーク「EchoPolicy-0」が、AI2（アレン人工知能研究所）のMolmoSpaces Combinedランキングで1位になったと発表しました。4つの課題を等しい比重で集計した成功率は75.4％です。同社の3.4Bパラメーターの「MagicBrain」は平均72.4％で4位となり、「Pick」では94.4％を記録したと報告されています。118

ただし、これらはベンチマークでの成績です。実際の現場で同じ性能を発揮することや、商用環境での信頼性を、それだけで証明するものではありません。

2つのシステムの成績

EchoPolicy-0の平均値は、MolmoSpaces v1の「Pick（物体をつかむ）」「Pick and Place（つかんで置く）」「Open（開ける）」「Close（閉める）」の4課題を対象にしたものです。MagicLabは、同システムがCombinedランキングで1位になったとしています。1

Pandailyが公開されたランキングデータを確認したところ、4課題の平均は約75.5％と算出されました。MagicLabの発表値75.4％との差は小さく、平均値の示し方によるものとみられるため、ここでは同社発表の75.4％を記載しています。41

システム	Combinedの成績	補足
EchoPolicy-0	75.4％、1位	Pick、Pick and Place、Open、Closeの等ウェイト平均
MagicBrain	72.4％、4位	Pickの課題別成功率は94.4％

MagicBrainの94.4％は「Pick」単独の成績で、4課題全体の平均値とは異なります。18

MolmoSpacesが評価するもの

MolmoSpacesは、AI2が提供するゼロショットの具現化AI（embodied AI）ベンチマークです。評価環境のエコシステムは、23万を超える屋内環境と約13万の物体アセットで構成されています。1

ベンチマークでは、指定された場面や指示に応じて、ロボットシステムが操作課題を実行できるかを評価します。環境や物体アセットの数はベンチマーク全体の規模を示すもので、今回のランキングにおける試行回数を意味するものではありません。

共通の条件でシステム同士を比べられるのは、こうした評価の利点です。一方、ベンチマークの順位や成功率だけから、異なる物理環境や実際の職場でどれほど安定して動くかまでは判断できません。

EchoPolicy-0は「見て、考え、動かし、確かめる」

MagicLabはEchoPolicy-0を、視覚言語モデル（VLM）、幾何情報を使う操作ツール、汎用の行動ポリシーを組み合わせた統合フレームワークと説明しています。シーンを観察して指示を理解し、行動を選んで実行した後、その結果を確認する流れをつなぐ設計です。18

同社の説明では、行動モデルが複数の候補を出し、視覚モデルが対象物についての理解をもとに適切な候補を選びます。実行結果の視覚的な確認は、動作を続けるか、やり直すか、別の手段に切り替えるかの判断にも使われます。1820

つまり、指示を受けて一度だけ動くのではなく、認識と行動の間に結果確認を組み込む考え方です。

MagicBrainは対象物の見極めを重視

MagicBrainは、文脈に沿った視覚的な手がかりを使って、指示に関係する物体を見つけやすくするアプローチを取ります。物体を「何として認識するか」と、ロボットが「どう動くか」を分けて考える設計です。1933

MagicLabの分析によると、調査したケースでは、把持の失敗は動作が不安定だからというより、対象物を取り違えることがよくある原因だったといいます。30 指示と対象物の結び付けが不正確なら、動作そのものが滑らかでも、目的の物体をつかめない可能性があります。ただし、これは同社が調べたケースについての報告であり、ロボットの把持失敗全般に当てはまると示されたわけではありません。

成績から分かること、分からないこと

両システムに共通するのは、指示の理解、対象物の視覚的な特定、実際の動作を連携させようとしている点です。MagicLab Studioは、階層型アーキテクチャを有力な方向性とし、汎用タスクにおける指示追従を課題の一つとして挙げています。33

今回の数字が示すのは、MolmoSpacesの課題に対する性能です。異なる物理条件への適応や、実環境での信頼性、商用利用への準備が整ったことまでを証明するものではありません。

MagicLabは、ロボット操作向けのフレームワーク「EchoPolicy-0」が、AI2（アレン人工知能研究所）のMolmoSpaces Combinedランキングで1位になったと発表しました。4つの課題を等しい比重で集計した成功率は75.4％です。同社の3.4Bパラメーターの「MagicBrain」は平均72.4％で4位となり、「Pick」では94.4％を記録したと報告されています。118

ただし、これらはベンチマークでの成績です。実際の現場で同じ性能を発揮することや、商用環境での信頼性を、それだけで証明するものではありません。

2つのシステムの成績

EchoPolicy-0の平均値は、MolmoSpaces v1の「Pick（物体をつかむ）」「Pick and Place（つかんで置く）」「Open（開ける）」「Close（閉める）」の4課題を対象にしたものです。MagicLabは、同システムがCombinedランキングで1位になったとしています。1

Pandailyが公開されたランキングデータを確認したところ、4課題の平均は約75.5％と算出されました。MagicLabの発表値75.4％との差は小さく、平均値の示し方によるものとみられるため、ここでは同社発表の75.4％を記載しています。41

システム	Combinedの成績	補足
EchoPolicy-0	75.4％、1位	Pick、Pick and Place、Open、Closeの等ウェイト平均
MagicBrain	72.4％、4位	Pickの課題別成功率は94.4％

MagicBrainの94.4％は「Pick」単独の成績で、4課題全体の平均値とは異なります。18

MolmoSpacesが評価するもの

MolmoSpacesは、AI2が提供するゼロショットの具現化AI（embodied AI）ベンチマークです。評価環境のエコシステムは、23万を超える屋内環境と約13万の物体アセットで構成されています。1

ベンチマークでは、指定された場面や指示に応じて、ロボットシステムが操作課題を実行できるかを評価します。環境や物体アセットの数はベンチマーク全体の規模を示すもので、今回のランキングにおける試行回数を意味するものではありません。

共通の条件でシステム同士を比べられるのは、こうした評価の利点です。一方、ベンチマークの順位や成功率だけから、異なる物理環境や実際の職場でどれほど安定して動くかまでは判断できません。

EchoPolicy-0は「見て、考え、動かし、確かめる」

MagicLabはEchoPolicy-0を、視覚言語モデル（VLM）、幾何情報を使う操作ツール、汎用の行動ポリシーを組み合わせた統合フレームワークと説明しています。シーンを観察して指示を理解し、行動を選んで実行した後、その結果を確認する流れをつなぐ設計です。18

同社の説明では、行動モデルが複数の候補を出し、視覚モデルが対象物についての理解をもとに適切な候補を選びます。実行結果の視覚的な確認は、動作を続けるか、やり直すか、別の手段に切り替えるかの判断にも使われます。1820

つまり、指示を受けて一度だけ動くのではなく、認識と行動の間に結果確認を組み込む考え方です。

MagicBrainは対象物の見極めを重視

MagicBrainは、文脈に沿った視覚的な手がかりを使って、指示に関係する物体を見つけやすくするアプローチを取ります。物体を「何として認識するか」と、ロボットが「どう動くか」を分けて考える設計です。1933

MagicLabの分析によると、調査したケースでは、把持の失敗は動作が不安定だからというより、対象物を取り違えることがよくある原因だったといいます。30 指示と対象物の結び付けが不正確なら、動作そのものが滑らかでも、目的の物体をつかめない可能性があります。ただし、これは同社が調べたケースについての報告であり、ロボットの把持失敗全般に当てはまると示されたわけではありません。

成績から分かること、分からないこと

両システムに共通するのは、指示の理解、対象物の視覚的な特定、実際の動作を連携させようとしている点です。MagicLab Studioは、階層型アーキテクチャを有力な方向性とし、汎用タスクにおける指示追従を課題の一つとして挙げています。33

今回の数字が示すのは、MolmoSpacesの課題に対する性能です。異なる物理条件への適応や、実環境での信頼性、商用利用への準備が整ったことまでを証明するものではありません。