COMPASS: 異なる身体構造への対応と80%の実世界成功率

多様な身体構造（車輪型移動ロボットやヒューマノイドなど）を横断して動作するロボットを構築することは、非常に困難である。COMPASS ポリシーフレームワークは、まず模倣学習によってベースラインとなるナビゲーションポリシーを訓練し、その後、NVIDIA Isaac Labにおける残差強化学習を用いて、多様な身体構造に特化したポリシーを、すべてシミュレーション内で生成する。模倣学習のみのベースラインと比較して、COMPASSは平均成功率を4.5倍に改善した。さらに、自律移動ロボットとヒューマノイドを用いた20回の実世界ナビゲーション試験において約80%の成功率を達成し、現実環境へのシームレスな転移を実証した 。

Grasp-MPC: 動作の途中で修正する適応的把持

固定された把持計画は、対象物がわずかに動いたり、ロボットの初期推定が少しずれただけで失敗する。Grasp-MPC は、対象物に近づく過程でロボットの動作を連続的に修正し続ける。研究者らは、GraspGenデータセットとCUDA加速の動作生成ライブラリであるcuRoboを用いて、8,000個の物体に対する200万本のシミュレーション軌道を生成してモデルを訓練した 。実ロボットでのテストでは、約75%の全体把持成功率を達成し、ベースラインの41%を大きく上回った 。

変形物体群の操作: ゼロショットで絡まりを解消

電線に絡まった枝のように、絡みやすく柔軟な素材を操作するには、精密なグリッパー以上のものが求められる。NVIDIAの研究者らは、Isaacシミュレーションフレームワークで数千本の合成樹木を用い、アーム全体を使って群がった物体をかき分けるポリシーを訓練した。その結果、ポリシーは追加の訓練なしで、ゼロショットで現実の枝に適用された 。

PEEK: 選択的視覚がもたらす最大41倍の精度向上

ロボットのカメラ映像に写り込む邪魔な物体は、十分に訓練された操作ポリシーさえも狂わせる可能性がある。PEEK は、視覚言語モデルを用いてタスク指示を読み取り、関係のある対象物にロボットの視覚を集中させ、それ以外をぼかす処理を行う。純粋にシミュレーションのみで訓練されたポリシーにPEEKを追加したところ、実世界での精度が41倍に向上した。大規模な視覚・言語・行動（VLA）モデルに対しては、2倍から3.5倍の向上が見られた。PEEKは、カメラベースのポリシーであれば、一切の修正なしに統合できる 。

SEAL (Do What You Say): 推論と行動のずれを解消

カーネギーメロン大学、ユタ大学、シドニー大学との共同研究によるSEALフレームワークは、一見すると単純ながらもよくある失敗モードを修正する。すなわち「モデルは正しく推論し、正しい計画を選んだのに、実行段階で異なる動きをしてしまう」という問題である。SEALは複数の行動シーケンス候補を生成し、それぞれが導く結果を内部的にシミュレーションした上で、表明された意図に最も合致するものを選択する。これにより、先行研究と比較して最大15%の精度向上を達成し、言い回しの変化や散らかった環境、カメラアングルの変更に対しても堅牢性を示した 。

Refinery: 複数工程の組み立てを連鎖させ、91%の成功を達成

複数部品からなる組み立て作業では、各工程の結果が次の工程の初期状態を形作る。Refinery は、こうした依存関係を理解するポリシーを、数百ものシミュレーションシナリオを通して学習させる。その結果、シミュレーション上で91%の成功率を達成し、ベースラインと比較して平均約11%の改善を示した。学習したポリシーは、長く複雑な組み立てシーケンスのために連鎖的に動作する 。

視覚ベースのSim-to-Real強化学習による器用なヒューマノイド操作

別の研究では、視覚ベースのsim-to-real強化学習のレシピを用いて、ヒューマノイドロボットに「掴んでリーチする」「箱を持ち上げる」「両手で物体を受け渡す」という三つの挑戦的な器用操作タスクを訓練した。このアプローチは、訓練で見たことのない未知の物体に対しても高い成功率と、堅牢で適応的な行動を示し、視覚ベースの器用な操作をsim-to-real強化学習で実現することが、実行可能かつスケーラブルであることを強調した 。

研究を支える基盤プラットフォーム群

8本の論文は、シミュレーションを実用的なエンドツーエンドの開発環境へと変貌させる、NVIDIAの複数の横断的プラットフォームの上に成り立っている。

• NVIDIA Isaac GR00T: 汎用ロボット基盤モデルの研究イニシアチブ兼開発プラットフォーム。ヒューマノイドの推論と制御のためのオープンモデル（GR00T Nシリーズ）、OmniverseとCosmos上に構築されたシミュレーションフレームワーク、そしてエッジコンピューターJetson AGX Thorを特徴とする 。
• NVIDIA Cosmos ワールドモデル: 物理AIシステムのためにカスタム世界モデルを大規模に構築するための、最先端の生成的世界基盤モデル群。合成データ生成やポリシー評価を完全にシミュレーション内で行うことを可能にする 。
• Newton 1.0 物理エンジン: Google DeepMindおよびDisney Researchと共同開発した、オープンソースのGPU加速物理エンジン。NVIDIA Isaac Labで利用可能となり、より高性能で適応性の高いロボットの開発を支援する 。
• NVIDIA cuMotion: 複数の軌道最適化を同時実行し、最適解を返すことで、ロボットの動作計画問題を大規模に解決するCUDA加速ライブラリ 。
• NVIDIA Jetson エッジAIプラットフォーム: ロボットに搭載され、ロボットスタック全体を実行するハードウェア。ScheduleStreamの3倍高速化デモもこのプラットフォーム上で動作し、オンボードコンピューターとしてJetson AGX Thorが使用されている 。

パートナー企業が示すSim-to-Realの実用性

トヨタ・リサーチ・インスティテュート（TRI）、実世界データの必要性を削減

TRIは、動的視点合成とロボットの遠隔操作のためにNVIDIA Cosmos世界基盤モデルをカスタマイズし、視覚ベースの操作ポリシーの訓練に必要な実世界データの量を削減することに成功した 。

Mimic Robotics: 10倍のサンプル効率を達成

Mimic Roboticsは、NVIDIAのプラットフォームを活用したビデオ・アクションモデルを開発し、実世界の操作タスクにおいて10倍のサンプル効率と2倍の収束速度を達成した。これにより、コストのかかる実世界での実演データ収集の必要性を大幅に削減した 。

Doosan Robotics、文脈を理解するパレタイジングを実現

Doosanは、NVIDIA Cosmos Reasonを用いることで、パレタイジングロボットが箱の中身を分析し、破損を検知し、重量や壊れやすさに応じて取り扱いを調整することを可能にした。これにより、網羅的な実世界の訓練データなしで、文脈を考慮した意思決定を実現している 。

大局的な視点：スクリプト化されたデモから身体的自律性へ

NVIDIAは、この一連の研究成果を、ロボティクス産業における根本的な転換の一部として位置づけている。

「ロボティクスは新たな段階に入りつつあります。制御されたデモやスクリプト化された自動化から、現実世界における汎化可能で信頼性の高い身体的自律性への移行です」

Sim-to-real転移は、もはや学術的な興味の対象ではない。ICRAで発表された8本の論文は、この技術がフルスタックの課題に取り組んでいることを示している。すなわち、並列マルチアーム協調、異なる身体構造を横断するポリシー汎化、乱雑な環境での未知物体把持、変形物体のゼロショット操作、精密な連続組み立て、そして行動する前に推論する視覚・言語・行動モデルの開発である 。その明確なメッセージは、現実世界での大量の人間による実演データに依存するのではなく、シミュレーションベースの訓練こそが、構造化されていない動的な環境で堅牢に機能するロボットへの、スケーラブルな道筋であるということだ。

COMPASS: 異なる身体構造への対応と80%の実世界成功率

多様な身体構造（車輪型移動ロボットやヒューマノイドなど）を横断して動作するロボットを構築することは、非常に困難である。COMPASS ポリシーフレームワークは、まず模倣学習によってベースラインとなるナビゲーションポリシーを訓練し、その後、NVIDIA Isaac Labにおける残差強化学習を用いて、多様な身体構造に特化したポリシーを、すべてシミュレーション内で生成する。模倣学習のみのベースラインと比較して、COMPASSは平均成功率を4.5倍に改善した。さらに、自律移動ロボットとヒューマノイドを用いた20回の実世界ナビゲーション試験において約80%の成功率を達成し、現実環境へのシームレスな転移を実証した 。

Grasp-MPC: 動作の途中で修正する適応的把持

固定された把持計画は、対象物がわずかに動いたり、ロボットの初期推定が少しずれただけで失敗する。Grasp-MPC は、対象物に近づく過程でロボットの動作を連続的に修正し続ける。研究者らは、GraspGenデータセットとCUDA加速の動作生成ライブラリであるcuRoboを用いて、8,000個の物体に対する200万本のシミュレーション軌道を生成してモデルを訓練した 。実ロボットでのテストでは、約75%の全体把持成功率を達成し、ベースラインの41%を大きく上回った 。

変形物体群の操作: ゼロショットで絡まりを解消

電線に絡まった枝のように、絡みやすく柔軟な素材を操作するには、精密なグリッパー以上のものが求められる。NVIDIAの研究者らは、Isaacシミュレーションフレームワークで数千本の合成樹木を用い、アーム全体を使って群がった物体をかき分けるポリシーを訓練した。その結果、ポリシーは追加の訓練なしで、ゼロショットで現実の枝に適用された 。

PEEK: 選択的視覚がもたらす最大41倍の精度向上

ロボットのカメラ映像に写り込む邪魔な物体は、十分に訓練された操作ポリシーさえも狂わせる可能性がある。PEEK は、視覚言語モデルを用いてタスク指示を読み取り、関係のある対象物にロボットの視覚を集中させ、それ以外をぼかす処理を行う。純粋にシミュレーションのみで訓練されたポリシーにPEEKを追加したところ、実世界での精度が41倍に向上した。大規模な視覚・言語・行動（VLA）モデルに対しては、2倍から3.5倍の向上が見られた。PEEKは、カメラベースのポリシーであれば、一切の修正なしに統合できる 。

SEAL (Do What You Say): 推論と行動のずれを解消

カーネギーメロン大学、ユタ大学、シドニー大学との共同研究によるSEALフレームワークは、一見すると単純ながらもよくある失敗モードを修正する。すなわち「モデルは正しく推論し、正しい計画を選んだのに、実行段階で異なる動きをしてしまう」という問題である。SEALは複数の行動シーケンス候補を生成し、それぞれが導く結果を内部的にシミュレーションした上で、表明された意図に最も合致するものを選択する。これにより、先行研究と比較して最大15%の精度向上を達成し、言い回しの変化や散らかった環境、カメラアングルの変更に対しても堅牢性を示した 。

Refinery: 複数工程の組み立てを連鎖させ、91%の成功を達成

複数部品からなる組み立て作業では、各工程の結果が次の工程の初期状態を形作る。Refinery は、こうした依存関係を理解するポリシーを、数百ものシミュレーションシナリオを通して学習させる。その結果、シミュレーション上で91%の成功率を達成し、ベースラインと比較して平均約11%の改善を示した。学習したポリシーは、長く複雑な組み立てシーケンスのために連鎖的に動作する 。

視覚ベースのSim-to-Real強化学習による器用なヒューマノイド操作

別の研究では、視覚ベースのsim-to-real強化学習のレシピを用いて、ヒューマノイドロボットに「掴んでリーチする」「箱を持ち上げる」「両手で物体を受け渡す」という三つの挑戦的な器用操作タスクを訓練した。このアプローチは、訓練で見たことのない未知の物体に対しても高い成功率と、堅牢で適応的な行動を示し、視覚ベースの器用な操作をsim-to-real強化学習で実現することが、実行可能かつスケーラブルであることを強調した 。

研究を支える基盤プラットフォーム群

8本の論文は、シミュレーションを実用的なエンドツーエンドの開発環境へと変貌させる、NVIDIAの複数の横断的プラットフォームの上に成り立っている。

• NVIDIA Isaac GR00T: 汎用ロボット基盤モデルの研究イニシアチブ兼開発プラットフォーム。ヒューマノイドの推論と制御のためのオープンモデル（GR00T Nシリーズ）、OmniverseとCosmos上に構築されたシミュレーションフレームワーク、そしてエッジコンピューターJetson AGX Thorを特徴とする 。
• NVIDIA Cosmos ワールドモデル: 物理AIシステムのためにカスタム世界モデルを大規模に構築するための、最先端の生成的世界基盤モデル群。合成データ生成やポリシー評価を完全にシミュレーション内で行うことを可能にする 。
• Newton 1.0 物理エンジン: Google DeepMindおよびDisney Researchと共同開発した、オープンソースのGPU加速物理エンジン。NVIDIA Isaac Labで利用可能となり、より高性能で適応性の高いロボットの開発を支援する 。
• NVIDIA cuMotion: 複数の軌道最適化を同時実行し、最適解を返すことで、ロボットの動作計画問題を大規模に解決するCUDA加速ライブラリ 。
• NVIDIA Jetson エッジAIプラットフォーム: ロボットに搭載され、ロボットスタック全体を実行するハードウェア。ScheduleStreamの3倍高速化デモもこのプラットフォーム上で動作し、オンボードコンピューターとしてJetson AGX Thorが使用されている 。

パートナー企業が示すSim-to-Realの実用性

トヨタ・リサーチ・インスティテュート（TRI）、実世界データの必要性を削減

TRIは、動的視点合成とロボットの遠隔操作のためにNVIDIA Cosmos世界基盤モデルをカスタマイズし、視覚ベースの操作ポリシーの訓練に必要な実世界データの量を削減することに成功した 。

Mimic Robotics: 10倍のサンプル効率を達成

Mimic Roboticsは、NVIDIAのプラットフォームを活用したビデオ・アクションモデルを開発し、実世界の操作タスクにおいて10倍のサンプル効率と2倍の収束速度を達成した。これにより、コストのかかる実世界での実演データ収集の必要性を大幅に削減した 。

Doosan Robotics、文脈を理解するパレタイジングを実現

Doosanは、NVIDIA Cosmos Reasonを用いることで、パレタイジングロボットが箱の中身を分析し、破損を検知し、重量や壊れやすさに応じて取り扱いを調整することを可能にした。これにより、網羅的な実世界の訓練データなしで、文脈を考慮した意思決定を実現している 。

大局的な視点：スクリプト化されたデモから身体的自律性へ

NVIDIAは、この一連の研究成果を、ロボティクス産業における根本的な転換の一部として位置づけている。

「ロボティクスは新たな段階に入りつつあります。制御されたデモやスクリプト化された自動化から、現実世界における汎化可能で信頼性の高い身体的自律性への移行です」

Sim-to-real転移は、もはや学術的な興味の対象ではない。ICRAで発表された8本の論文は、この技術がフルスタックの課題に取り組んでいることを示している。すなわち、並列マルチアーム協調、異なる身体構造を横断するポリシー汎化、乱雑な環境での未知物体把持、変形物体のゼロショット操作、精密な連続組み立て、そして行動する前に推論する視覚・言語・行動モデルの開発である 。その明確なメッセージは、現実世界での大量の人間による実演データに依存するのではなく、シミュレーションベースの訓練こそが、構造化されていない動的な環境で堅牢に機能するロボットへの、スケーラブルな道筋であるということだ。