NVIDIA ICRA 2026 研究：機器人如何從模擬訓練中征服真實世界的混亂

固定的抓取計劃在物品移位或機器人初始預估稍有偏差時就會失敗。Grasp-MPC 能在機器人靠近物體時持續修正其動作。研究人員利用 GraspGen 資料集與 cuRobo（CUDA 加速的動作生成庫），針對 8,000 個物體生成了 200 萬條模擬軌跡。在真實機器人上，其整體抓取成功率達到約 75%，遠高於基線的 41% 。

變形叢集操作：零樣本清除雜物

操作纏繞、柔軟的材料——例如電線上的樹枝——需要的不只是一個精密的夾爪。NVIDIA 研究人員利用 Isaac 模擬框架中的數千棵合成樹木，訓練出使用整隻手臂來掃除叢集物的策略。結果：這些策略以零樣本方式部署到真實的樹枝上，完全不需要額外的訓練 。

PEEK：聚焦視覺帶來 41 倍的準確度提升

機器人攝影機畫面中的干擾物，足以讓訓練有素的操作策略失控。PEEK 使用視覺語言模型讀取任務指令，並將機器人的視覺集中在相關物體上，同時淡化其他一切。當把 PEEK 加入到純粹於模擬中訓練的策略時，它在真實世界中的準確度帶來了 41 倍的提升。對於大型視覺語言行動模型，提升幅度則在 2 到 3.5 倍之間。PEEK 無需修改即可整合至任何基於攝影機的策略中 。

Do What You Say (SEAL)：彌合推理與行動的落差

SEAL 框架——與卡內基美隆大學（Carnegie Mellon University）、猶他大學（University of Utah）及雪梨大學（University of Sydney）的合作成果——修正了一個看似簡單卻很常見的失敗模式：模型推理正確、選對了計劃，但執行了不一樣的動作。SEAL 會生成多個候選動作序列，模擬每個序列會導致的結果，並選擇最符合所陳述意圖的那個。它比先前的研究提升了最高 15% 的準確度，並且對於改寫的指令、環境雜亂和改變攝影機角度都具有強健性 。

Refinery：串連組裝步驟，達成 91% 模擬成功率

對於多部件組裝，每一步的結果都會影響下一步。Refinery 訓練出的策略能理解這些依賴關係，並在數百個模擬場景中學習。它在模擬中達成了 91% 的成功率，與基線相比平均提升近 11%，且這些策略可以串連在一起，用於執行長週期、複雜的組裝序列 。

基於視覺的 Sim-to-Real 強化學習，用於靈巧的人形機器人任務

另一項基於視覺的 sim-to-real 強化學習方法，訓練人形機器人執行抓取與伸臂、抬箱，以及雙手交接的任務。該方法在未見過的物體上展示出高成功率及穩健、適應性的行為——凸顯了透過 sim-to-real 強化學習進行的「基於視覺的靈巧操作」，不僅可行，更具有可擴展性 。

底層平台：GR00T、Cosmos、Newton、cuMotion 與 Jetson

這八篇論文奠基於數個互相串聯的 NVIDIA 平台之上，它們將模擬轉化為實用的端到端開發環境：

• NVIDIA Isaac GR00T：一項針對通用機器人基礎模型的研究計畫與開發平台，具備用於人形機器人推理與控制的開放模型（GR00T N 系列）、建構於 Omniverse 和 Cosmos 之上的模擬框架，以及 Jetson AGX Thor 邊緣運算電腦 。
• NVIDIA Cosmos 世界模型：一個包含頂尖生成式世界基礎模型的平台，用於大規模建構客製化世界模型，支援完全在模擬中進行的合成資料生成與策略評估 。
• Newton 1.0 物理引擎：一款開源、GPU 加速的物理引擎，由 Google DeepMind 與迪士尼研究中心（Disney Research）共同開發，現已可在 NVIDIA Isaac Lab 中使用，以協助創造出功能更強、適應力更好的機器人 。
• NVIDIA cuMotion：一個 CUDA 加速的函式庫，透過同時執行多個軌跡優化並回傳最佳解，來大規模解決機器人動作規劃問題 。
• NVIDIA Jetson 邊緣 AI 平台：搭載於機器人上，用以運行完整機器人技術棧的硬體平台，其中包含 ScheduleStream 的 3 倍加速展示，並以 Jetson AGX Thor 作為機載電腦 。

合作夥伴將 Sim-to-Real 效率付諸實行

豐田研究所（Toyota Research Institute）降低真實世界資料需求

豐田研究所（TRI）客製化了 NVIDIA Cosmos 世界基礎模型，用於動態視角合成與機器人遙操作，從而減少訓練基於視覺的操作策略所需的真實世界資料量 。

Mimic Robotics：10 倍的樣本效率提升

Mimic Robotics 利用 NVIDIA 平台開發了一款視覺動作模型，在真實世界的操作任務上，實現了 10 倍的樣本效率提升與 2 倍的收斂速度加快，大幅削減了所需昂貴的真實世界演示數量 。

Doosan Robotics 增加具備情境感知能力的堆垛功能

韓廠斗山機器人（Doosan Robotics）利用 NVIDIA Cosmos Reason，讓堆垛機器人能分析箱子內的物品內容、偵測損壞，並根據重量與易碎性調整處理方式——無需詳盡的真實世界訓練數據，就能做到具備情境感知能力的決策 。

更宏觀的視野：從腳本化展演到具身自主

NVIDIA 將這一系列研究界定為機器人產業的根本性轉變：

「機器人技術正進入一個新階段：從受控制的展演與腳本化自動化，轉向在真實世界中實現可泛化、可靠的具身自主性。」

模擬到真實的轉移，已不再只是學術上的好奇探索。這八篇 ICRA 論文顯示，這項技術正全面應對機器人開發的各個層面：並行多手臂協調、跨機體型態的策略泛化、在雜亂環境中抓取新物體、零樣本變形物體操作、精密的序列組裝，以及在行動前會先推理的視覺語言行動模型 。其傳達的訊息再清楚不過：基於模擬的訓練——而非依賴海量真實世界人類演示——才是讓機器人在非結構化、動態環境中穩健運作的可擴展之道。