COMPASS：跨形態導航，真實世界成功率 80%

要建立喺唔同身體類型（例如輪式移動機械人、人形機械人）之間都能夠導航嘅機械人，一直係個大難題。COMPASS 政策框架先用模仿學習訓練一個基線導航策略，然後喺 NVIDIA Isaac Lab 入面用殘差強化學習，為唔同嘅機械人形態創建專門化策略——全部都係喺仿真環境中完成。同模仿學習基線相比，COMPASS 嘅平均成功率提升咗 4.5 倍。佢仲可以無縫轉移到真實世界，喺自主移動機械人同人形機械人嘅 20 次真實導航試驗中，展示咗 約 80% 嘅成功率 。

Grasp-MPC：自適應抓取，中途修正動作

當物件移位或者機械人最初嘅估算有少少偏差嗰陣，固定嘅抓取計劃就會失敗。Grasp-MPC 會喺機械人靠近物件嘅過程中持續修正其動作。研究人員用 GraspGen 數據集同 cuRobo（一個 CUDA 加速嘅動作生成庫），喺 8,000 件物件上生成咗 200 萬條模擬軌跡。喺真實機械人上，佢嘅整體抓取成功率達到 約 75%，相比之下基線只得 41% 。

變形物料集群操作：零樣本清理雜物

要操作纏結、柔軟嘅物料——例如電線上嘅樹枝——需要嘅唔單止係一個精準嘅夾爪。NVIDIA 研究人員訓練出策略，用成隻手臂去掃開雜物集群，期間喺 Isaac 仿真框架中用咗數以千計嘅合成樹木。結果係：呢啲策略可以**零樣本（zero-shot）**部署到真實樹枝上，完全唔需要額外訓練 。

PEEK：專注視覺，準確度提升 41 倍

機械人鏡頭畫面中嘅干擾物，足以破壞即使訓練有素嘅操作策略。PEEK 用一個視覺-語言模型去讀取任務指令，然後將機械人嘅視覺集中喺相關物件上，同時淡化其他一切。將 PEEK 加入到一個純粹喺仿真環境訓練嘅策略後，真實世界嘅準確度提升咗 41 倍。對於大型視覺-語言-動作（VLA）模型，提升幅度亦達到 2 到 3.5 倍。PEEK 可以唔使修改就同任何基於鏡頭嘅策略整合 。

Do What You Say (SEAL)：消除推理與動作嘅鴻溝

SEAL 框架——同卡內基梅隆大學、猶他大學同悉尼大學合作開發——修復咗一個表面上常見嘅失敗模式：模型推理正確，揀啱計劃，但執行出嚟嘅嘢就唔同咗。SEAL 生成多個候選動作序列，模擬每個序列會導致咩結果，然後挑選最符合其陳述意圖嗰個。佢比起之前嘅工作提供咗高達 15% 嘅準確度提升，而且對重新措辭嘅指令、雜亂環境同改變鏡頭角度都好穩健 。

Refinery：串聯裝配步驟，模擬成功率 91%

對於多部件裝配，每個步驟嘅結果都會影響下一步。Refinery 訓練出能夠理解呢啲依賴關係嘅策略，喺數以百計嘅模擬場景中學習。佢達到咗 91% 嘅模擬成功率，比起基線有大約 11% 嘅平均改善，而且策略可以串聯起嚟，用於長時間、複雜嘅裝配序列 。

基於視覺嘅 Sim-to-Real RL，用於靈巧人形機械人任務

另一項基於視覺嘅 sim-to-real 強化學習方案，訓練一個人形機械人執行抓取同觸及、搬箱同雙手交接任務。呢個方法喺未見過嘅物件上展示咗高成功率，同埋穩健、適應性強嘅行為——突顯出透過 sim-to-real RL 實現基於視覺嘅靈巧操作，唔單止可行，仲係可擴展嘅 。

底層平台：GR00T、Cosmos、Newton、cuMotion 同 Jetson

呢八篇論文建基於幾個相輔相成嘅 NVIDIA 平台，佢哋將仿真變成一個實用嘅端到端開發環境：

• NVIDIA Isaac GR00T：一個針對通用機械人基礎模型嘅研究計劃同開發平台，配備開放模型（GR00T N 系列）用於人形機械人推理同控制、建基於 Omniverse 同 Cosmos 嘅仿真框架，以及 Jetson AGX Thor 邊緣電腦 。
• NVIDIA Cosmos 世界模型：一個由最先進嘅生成式世界基礎模型組成嘅平台，用於大規模構建自訂世界模型，支援喺仿真環境中完全進行合成數據生成同策略評估 。
• Newton 1.0 物理引擎：一個開源、GPU 加速嘅物理引擎，同 Google DeepMind 及 Disney Research 共同開發，現已喺 NVIDIA Isaac Lab 中提供，幫助創建更強大、更適應性強嘅機械人 。
• NVIDIA cuMotion：一個 CUDA 加速庫，透過同時運行多個軌跡優化嚟大規模解決機械人運動規劃問題，並返回最佳解決方案 。
• NVIDIA Jetson 邊緣 AI 平台：機械人上用嚟運行整個機械人棧嘅硬件平台，包括 ScheduleStream 嗰 3 倍提速示範，其中 Jetson AGX Thor 就係機載電腦 。

合作夥伴將 Sim-to-Real 效率付諸實行

Toyota Research Institute 減少真實世界數據需求

Toyota Research Institute (TRI) 客製化咗 NVIDIA Cosmos 世界基礎模型，用於動態視圖合成同機械人遙操作，減少咗訓練基於視覺嘅操作策略所需嘅真實世界數據量 。

Mimic Robotics：10 倍樣本效率提升

Mimic Robotics 用 NVIDIA 平台開發咗一個視頻動作模型，喺真實世界操作任務上達到咗 10 倍嘅樣本效率同快 2 倍嘅收斂速度，大幅削減咗所需嘅昂貴真實世界示範次數 。

Doosan Robotics 添加情境感知堆疊

Doosan 用 NVIDIA Cosmos Reason 令堆疊機械人可以分析箱子裡面嘅物品、檢測損壞，並根據重量同易碎程度調整處理方式——實現咗情境感知決策，唔需要大量真實世界訓練數據 。

大局觀：由照稿示範到體現自主

NVIDIA 將呢一系列工作定位為機械人行業根本轉變嘅一部分：

「機械人技術正進入一個新階段：由受控示範同照稿自動化，轉向喺真實世界中實現可泛化、可靠嘅體現自主。」

Sim-to-real 轉移已經唔再係學術好奇。呢八篇 ICRA 論文展示咗佢應對全棧挑戰嘅能力：並行多臂協調、跨形態策略泛化、喺雜物中抓取新物件、零樣本變形物料操作、精準順序裝配，同埋喺行動前先推理嘅視覺-語言-動作模型 。訊息好清晰：基於仿真嘅訓練——而唔係依賴大量真實世界嘅人類示範——係實現機械人喺非結構化、動態環境中穩健運作嘅可擴展路徑。

COMPASS：跨形態導航，真實世界成功率 80%

要建立喺唔同身體類型（例如輪式移動機械人、人形機械人）之間都能夠導航嘅機械人，一直係個大難題。COMPASS 政策框架先用模仿學習訓練一個基線導航策略，然後喺 NVIDIA Isaac Lab 入面用殘差強化學習，為唔同嘅機械人形態創建專門化策略——全部都係喺仿真環境中完成。同模仿學習基線相比，COMPASS 嘅平均成功率提升咗 4.5 倍。佢仲可以無縫轉移到真實世界，喺自主移動機械人同人形機械人嘅 20 次真實導航試驗中，展示咗 約 80% 嘅成功率 。

Grasp-MPC：自適應抓取，中途修正動作

當物件移位或者機械人最初嘅估算有少少偏差嗰陣，固定嘅抓取計劃就會失敗。Grasp-MPC 會喺機械人靠近物件嘅過程中持續修正其動作。研究人員用 GraspGen 數據集同 cuRobo（一個 CUDA 加速嘅動作生成庫），喺 8,000 件物件上生成咗 200 萬條模擬軌跡。喺真實機械人上，佢嘅整體抓取成功率達到 約 75%，相比之下基線只得 41% 。

變形物料集群操作：零樣本清理雜物

要操作纏結、柔軟嘅物料——例如電線上嘅樹枝——需要嘅唔單止係一個精準嘅夾爪。NVIDIA 研究人員訓練出策略，用成隻手臂去掃開雜物集群，期間喺 Isaac 仿真框架中用咗數以千計嘅合成樹木。結果係：呢啲策略可以**零樣本（zero-shot）**部署到真實樹枝上，完全唔需要額外訓練 。

PEEK：專注視覺，準確度提升 41 倍

機械人鏡頭畫面中嘅干擾物，足以破壞即使訓練有素嘅操作策略。PEEK 用一個視覺-語言模型去讀取任務指令，然後將機械人嘅視覺集中喺相關物件上，同時淡化其他一切。將 PEEK 加入到一個純粹喺仿真環境訓練嘅策略後，真實世界嘅準確度提升咗 41 倍。對於大型視覺-語言-動作（VLA）模型，提升幅度亦達到 2 到 3.5 倍。PEEK 可以唔使修改就同任何基於鏡頭嘅策略整合 。

Do What You Say (SEAL)：消除推理與動作嘅鴻溝

SEAL 框架——同卡內基梅隆大學、猶他大學同悉尼大學合作開發——修復咗一個表面上常見嘅失敗模式：模型推理正確，揀啱計劃，但執行出嚟嘅嘢就唔同咗。SEAL 生成多個候選動作序列，模擬每個序列會導致咩結果，然後挑選最符合其陳述意圖嗰個。佢比起之前嘅工作提供咗高達 15% 嘅準確度提升，而且對重新措辭嘅指令、雜亂環境同改變鏡頭角度都好穩健 。

Refinery：串聯裝配步驟，模擬成功率 91%

對於多部件裝配，每個步驟嘅結果都會影響下一步。Refinery 訓練出能夠理解呢啲依賴關係嘅策略，喺數以百計嘅模擬場景中學習。佢達到咗 91% 嘅模擬成功率，比起基線有大約 11% 嘅平均改善，而且策略可以串聯起嚟，用於長時間、複雜嘅裝配序列 。

基於視覺嘅 Sim-to-Real RL，用於靈巧人形機械人任務

另一項基於視覺嘅 sim-to-real 強化學習方案，訓練一個人形機械人執行抓取同觸及、搬箱同雙手交接任務。呢個方法喺未見過嘅物件上展示咗高成功率，同埋穩健、適應性強嘅行為——突顯出透過 sim-to-real RL 實現基於視覺嘅靈巧操作，唔單止可行，仲係可擴展嘅 。

底層平台：GR00T、Cosmos、Newton、cuMotion 同 Jetson

呢八篇論文建基於幾個相輔相成嘅 NVIDIA 平台，佢哋將仿真變成一個實用嘅端到端開發環境：

• NVIDIA Isaac GR00T：一個針對通用機械人基礎模型嘅研究計劃同開發平台，配備開放模型（GR00T N 系列）用於人形機械人推理同控制、建基於 Omniverse 同 Cosmos 嘅仿真框架，以及 Jetson AGX Thor 邊緣電腦 。
• NVIDIA Cosmos 世界模型：一個由最先進嘅生成式世界基礎模型組成嘅平台，用於大規模構建自訂世界模型，支援喺仿真環境中完全進行合成數據生成同策略評估 。
• Newton 1.0 物理引擎：一個開源、GPU 加速嘅物理引擎，同 Google DeepMind 及 Disney Research 共同開發，現已喺 NVIDIA Isaac Lab 中提供，幫助創建更強大、更適應性強嘅機械人 。
• NVIDIA cuMotion：一個 CUDA 加速庫，透過同時運行多個軌跡優化嚟大規模解決機械人運動規劃問題，並返回最佳解決方案 。
• NVIDIA Jetson 邊緣 AI 平台：機械人上用嚟運行整個機械人棧嘅硬件平台，包括 ScheduleStream 嗰 3 倍提速示範，其中 Jetson AGX Thor 就係機載電腦 。

合作夥伴將 Sim-to-Real 效率付諸實行

Toyota Research Institute 減少真實世界數據需求

Toyota Research Institute (TRI) 客製化咗 NVIDIA Cosmos 世界基礎模型，用於動態視圖合成同機械人遙操作，減少咗訓練基於視覺嘅操作策略所需嘅真實世界數據量 。

Mimic Robotics：10 倍樣本效率提升

Mimic Robotics 用 NVIDIA 平台開發咗一個視頻動作模型，喺真實世界操作任務上達到咗 10 倍嘅樣本效率同快 2 倍嘅收斂速度，大幅削減咗所需嘅昂貴真實世界示範次數 。

Doosan Robotics 添加情境感知堆疊

Doosan 用 NVIDIA Cosmos Reason 令堆疊機械人可以分析箱子裡面嘅物品、檢測損壞，並根據重量同易碎程度調整處理方式——實現咗情境感知決策，唔需要大量真實世界訓練數據 。

大局觀：由照稿示範到體現自主

NVIDIA 將呢一系列工作定位為機械人行業根本轉變嘅一部分：

「機械人技術正進入一個新階段：由受控示範同照稿自動化，轉向喺真實世界中實現可泛化、可靠嘅體現自主。」

Sim-to-real 轉移已經唔再係學術好奇。呢八篇 ICRA 論文展示咗佢應對全棧挑戰嘅能力：並行多臂協調、跨形態策略泛化、喺雜物中抓取新物件、零樣本變形物料操作、精準順序裝配，同埋喺行動前先推理嘅視覺-語言-動作模型 。訊息好清晰：基於仿真嘅訓練——而唔係依賴大量真實世界嘅人類示範——係實現機械人喺非結構化、動態環境中穩健運作嘅可擴展路徑。