COMPASS：跨形态导航，真实世界成功率80%

构建一个能在不同机器人形态（如轮式移动机器人、人形机器人）之间通用的导航能力，是业内的一个“老大难”问题。COMPASS策略框架首先通过模仿学习训练出一套基础的导航策略，然后在NVIDIA Isaac Lab中使用残差强化学习，为各类形态迥异的机器人生成专有策略——这一切都是在仿真中自动完成的。与模仿学习的基线相比，COMPASS将平均成功率提升了4.5倍。更重要的是，它无缝迁移到了真实世界，在自主移动机器人和人形机器人身上进行了20次真实导航试验，取得了约80%的成功率。

Grasp-MPC：能在半途中修正路线的自适应抓取

当物体发生位移，或者机器人一开始的估计值存在微小偏差时，一成不变的抓取计划就会失效。Grasp-MPC会持续在机器人靠近并抓取物体的过程中实时修正其运动轨迹。研究者利用GraspGen数据集和CUDA加速的运动生成库cuRobo，生成了200万条仿真轨迹，涉及8000个物体。在真实机器人上，它取得了约75%的整体抓取成功率，而作为对比的基线方法仅为41%。

柔性物体集簇操作：零样本清理杂乱树枝

要处理缠绕在一起的柔性材料（例如挂在电线上的树枝），光靠一个精密夹爪远远不够。英伟达的研究人员训练出的策略会利用整个机械臂来扫开集簇在一起的物体。他们为此在Isaac仿真框架中生成了数千棵合成树木，而训练好的策略直接被零样本部署到了真实的树枝上，无需任何额外训练。

PEEK：专注的视觉带来41倍的准确率跃升

机器人摄像头画面里的干扰物，可能会让哪怕训练有素的抓取策略都功亏一篑。PEEK利用一个视觉-语言模型来解读任务指令，从而将机器人的视觉聚焦于相关物体，同时淡出背景中的其他一切干扰。在一个完全在仿真中训练出来的策略上引入PEEK后，其在真实世界的操作准确率提升了41倍。对于那些大型的视觉-语言-动作（VLA）模型，提升幅度也在2到3.5倍之间。PEEK最大的优点是可以无缝集成到任何基于摄像头的策略中，无需对模型本身进行任何修改。

Do What You Say (SEAL)：弥合推理与行动的鸿沟

SEAL框架——由英伟达与卡内基梅隆大学、犹他大学和悉尼大学合作开发——解决了一个看似细微却普遍存在的失败模式：模型推理正确，选择了对的计划，执行出来的却是另一套动作。SEAL会生成多组候选动作序列，在仿真中推演每一条路径可能导致的结果，然后从中选出最符合设定意图的那一条。它比先前的工作带来了高达15%的准确率提升，并且面对指令的改写、环境的杂乱以及摄像机角度的改变，都表现出了强大的鲁棒性。

Refinery：装配流水线，仿真成功率91%

对于多部件的装配任务，每一步的操作结果都影响着下一步。Refinery训练出的策略能理解这些步骤间的依赖关系，它们在数百种仿真场景中进行了学习。最终取得了91%的仿真成功率和相较基线近11%的平均性能提升。这些策略能够串联起来，完成漫长而复杂的装配序列。

基于视觉的Sim-to-Real RL与灵巧人形机器人任务

另一项独立的研究给出了一份基于视觉的Sim-to-Real强化学习配方，训练了一个人形机器人去完成抓取并放置、抬箱子和双臂接力等任务。该方法在面对未见过的物体时表现出了高成功率和稳健、自适应的行为——这强调了通过Sim-to-Real的强化学习实现基于视觉的灵巧操作，不仅是可行的，更是可规模化扩展且普遍适用的。

底层平台：GR00T、Cosmos、Newton、cuMotion 与 Jetson

这八篇论文立足于几个横贯英伟达产品线的平台之上，它们共同将仿真转化成了一个实用的、端到端的开发环境：

• NVIDIA Isaac GR00T：一个面向通用机器人基础模型的研究倡议与开发平台，提供了用于人形机器人推理与控制的开放模型（GR00T N系列）、构建在Omniverse和Cosmos之上的仿真框架，以及部署在机器人端的Jetson AGX Thor边缘计算机。
• NVIDIA Cosmos世界模型：一个包含最先进生成式世界基础模型的平台，用于大规模构建自定义世界模型，支持完全在仿真中完成合成数据生成与策略评测。
• Newton 1.0物理引擎：一个与谷歌DeepMind和迪士尼研究院合作开发的开源、GPU加速物理引擎，现已集成在NVIDIA Isaac Lab中，旨在帮助创造出更具能力与适应性的机器人。
• NVIDIA cuMotion：一个基于CUDA加速的库，能通过同时运行多条轨迹优化路径并从中选出最佳方案，来成规模地解决机器人的运动规划难题。
• NVIDIA Jetson边缘AI平台：部署在机器人身上的硬件平台，用于运行整套机器人软件栈。前文提到的ScheduleStream 3倍提速演示正是在这一平台上运行的，其中的机载计算机便是Jetson AGX Thor。

合作伙伴如何将Sim-to-Real的效率付诸实践

丰田研究所（Toyota Research Institute）：削减真实世界数据需求

丰田研究所（Toyota Research Institute, TRI）定制了NVIDIA Cosmos世界基础模型，用于实现最先进的动态视图合成和机器人遥操作，从而有效减少了训练基于视觉的操作策略所需的真实世界数据量。

Mimic Robotics：样本效率飙升10倍

Mimic Robotics利用英伟达的平台开发出了一个视频-动作模型，该模型在现实世界的操作任务上展现出10倍的样本效率提升和2倍的收敛速度提升，大幅减少了对昂贵真机演示数据的依赖。

斗山机器人（Doosan Robotics）：混装码垛的“场景感知”

斗山使用了NVIDIA Cosmos Reason，让他们的码垛机器人能够分析箱子里的货物，检测破损情况，并根据重量和易碎性调整处理方式——无需海量的真实世界训练数据，也能实现基于场景感知的决策。

更大的图景：从编排好的演示到真正的具身自主

英伟达将这一系列工作视为机器人产业一次根本性转变的一部分：

“机器人技术正在进入一个新的阶段：从受控的演示和脚本化的自动化，走向能在真实世界中通用且可靠的具身自主。”

Sim-to-Real的迁移已经不再是纯粹的学术好奇心。ICRA上的这八篇论文展示了它正被用于应对全栈层面的挑战：并行多臂协调、跨形态的策略泛化、在杂乱场景中抓取未知物体、零样本柔性物体操作、精确的序列化装配，以及在行动前就学会推理的视觉-语言-动作模型。其中传递出的明确信息是：机器人若要在非结构化、动态的环境中稳健运作，一条可规模化的路径是依靠基于仿真的训练，而不是对海量人类世界真实演示数据的依赖。

COMPASS：跨形态导航，真实世界成功率80%

构建一个能在不同机器人形态（如轮式移动机器人、人形机器人）之间通用的导航能力，是业内的一个“老大难”问题。COMPASS策略框架首先通过模仿学习训练出一套基础的导航策略，然后在NVIDIA Isaac Lab中使用残差强化学习，为各类形态迥异的机器人生成专有策略——这一切都是在仿真中自动完成的。与模仿学习的基线相比，COMPASS将平均成功率提升了4.5倍。更重要的是，它无缝迁移到了真实世界，在自主移动机器人和人形机器人身上进行了20次真实导航试验，取得了约80%的成功率。

Grasp-MPC：能在半途中修正路线的自适应抓取

当物体发生位移，或者机器人一开始的估计值存在微小偏差时，一成不变的抓取计划就会失效。Grasp-MPC会持续在机器人靠近并抓取物体的过程中实时修正其运动轨迹。研究者利用GraspGen数据集和CUDA加速的运动生成库cuRobo，生成了200万条仿真轨迹，涉及8000个物体。在真实机器人上，它取得了约75%的整体抓取成功率，而作为对比的基线方法仅为41%。

柔性物体集簇操作：零样本清理杂乱树枝

要处理缠绕在一起的柔性材料（例如挂在电线上的树枝），光靠一个精密夹爪远远不够。英伟达的研究人员训练出的策略会利用整个机械臂来扫开集簇在一起的物体。他们为此在Isaac仿真框架中生成了数千棵合成树木，而训练好的策略直接被零样本部署到了真实的树枝上，无需任何额外训练。

PEEK：专注的视觉带来41倍的准确率跃升

机器人摄像头画面里的干扰物，可能会让哪怕训练有素的抓取策略都功亏一篑。PEEK利用一个视觉-语言模型来解读任务指令，从而将机器人的视觉聚焦于相关物体，同时淡出背景中的其他一切干扰。在一个完全在仿真中训练出来的策略上引入PEEK后，其在真实世界的操作准确率提升了41倍。对于那些大型的视觉-语言-动作（VLA）模型，提升幅度也在2到3.5倍之间。PEEK最大的优点是可以无缝集成到任何基于摄像头的策略中，无需对模型本身进行任何修改。

Do What You Say (SEAL)：弥合推理与行动的鸿沟

SEAL框架——由英伟达与卡内基梅隆大学、犹他大学和悉尼大学合作开发——解决了一个看似细微却普遍存在的失败模式：模型推理正确，选择了对的计划，执行出来的却是另一套动作。SEAL会生成多组候选动作序列，在仿真中推演每一条路径可能导致的结果，然后从中选出最符合设定意图的那一条。它比先前的工作带来了高达15%的准确率提升，并且面对指令的改写、环境的杂乱以及摄像机角度的改变，都表现出了强大的鲁棒性。

Refinery：装配流水线，仿真成功率91%

对于多部件的装配任务，每一步的操作结果都影响着下一步。Refinery训练出的策略能理解这些步骤间的依赖关系，它们在数百种仿真场景中进行了学习。最终取得了91%的仿真成功率和相较基线近11%的平均性能提升。这些策略能够串联起来，完成漫长而复杂的装配序列。

基于视觉的Sim-to-Real RL与灵巧人形机器人任务

另一项独立的研究给出了一份基于视觉的Sim-to-Real强化学习配方，训练了一个人形机器人去完成抓取并放置、抬箱子和双臂接力等任务。该方法在面对未见过的物体时表现出了高成功率和稳健、自适应的行为——这强调了通过Sim-to-Real的强化学习实现基于视觉的灵巧操作，不仅是可行的，更是可规模化扩展且普遍适用的。

底层平台：GR00T、Cosmos、Newton、cuMotion 与 Jetson

这八篇论文立足于几个横贯英伟达产品线的平台之上，它们共同将仿真转化成了一个实用的、端到端的开发环境：

• NVIDIA Isaac GR00T：一个面向通用机器人基础模型的研究倡议与开发平台，提供了用于人形机器人推理与控制的开放模型（GR00T N系列）、构建在Omniverse和Cosmos之上的仿真框架，以及部署在机器人端的Jetson AGX Thor边缘计算机。
• NVIDIA Cosmos世界模型：一个包含最先进生成式世界基础模型的平台，用于大规模构建自定义世界模型，支持完全在仿真中完成合成数据生成与策略评测。
• Newton 1.0物理引擎：一个与谷歌DeepMind和迪士尼研究院合作开发的开源、GPU加速物理引擎，现已集成在NVIDIA Isaac Lab中，旨在帮助创造出更具能力与适应性的机器人。
• NVIDIA cuMotion：一个基于CUDA加速的库，能通过同时运行多条轨迹优化路径并从中选出最佳方案，来成规模地解决机器人的运动规划难题。
• NVIDIA Jetson边缘AI平台：部署在机器人身上的硬件平台，用于运行整套机器人软件栈。前文提到的ScheduleStream 3倍提速演示正是在这一平台上运行的，其中的机载计算机便是Jetson AGX Thor。

合作伙伴如何将Sim-to-Real的效率付诸实践

丰田研究所（Toyota Research Institute）：削减真实世界数据需求

丰田研究所（Toyota Research Institute, TRI）定制了NVIDIA Cosmos世界基础模型，用于实现最先进的动态视图合成和机器人遥操作，从而有效减少了训练基于视觉的操作策略所需的真实世界数据量。

Mimic Robotics：样本效率飙升10倍

Mimic Robotics利用英伟达的平台开发出了一个视频-动作模型，该模型在现实世界的操作任务上展现出10倍的样本效率提升和2倍的收敛速度提升，大幅减少了对昂贵真机演示数据的依赖。

斗山机器人（Doosan Robotics）：混装码垛的“场景感知”

斗山使用了NVIDIA Cosmos Reason，让他们的码垛机器人能够分析箱子里的货物，检测破损情况，并根据重量和易碎性调整处理方式——无需海量的真实世界训练数据，也能实现基于场景感知的决策。

更大的图景：从编排好的演示到真正的具身自主

英伟达将这一系列工作视为机器人产业一次根本性转变的一部分：

“机器人技术正在进入一个新的阶段：从受控的演示和脚本化的自动化，走向能在真实世界中通用且可靠的具身自主。”

Sim-to-Real的迁移已经不再是纯粹的学术好奇心。ICRA上的这八篇论文展示了它正被用于应对全栈层面的挑战：并行多臂协调、跨形态的策略泛化、在杂乱场景中抓取未知物体、零样本柔性物体操作、精确的序列化装配，以及在行动前就学会推理的视觉-语言-动作模型。其中传递出的明确信息是：机器人若要在非结构化、动态的环境中稳健运作，一条可规模化的路径是依靠基于仿真的训练，而不是对海量人类世界真实演示数据的依赖。