Omega-0：人形机器人如何学会边走边做事

Omega-0（ω-0）是一种面向人形机器人的统一 全身世界动作模型（whole-body world action model）。它的核心目标，是不再把“走到物体旁边”和“伸手拿起物体”视为两个彼此独立的问题，而是让机器人在同一个策略中协调移动底座、调整身体姿态、改变摄像头视角、维持平衡，并完成手臂和手部操作。1

简单来说，Omega-0 并不是看到一幅画面后就直接生成一条很长、预先固定好的运动轨迹。它会先预测机器人采取动作后未来可能看到的视觉特征，再据此选择与目标相匹配的动作。相关结果来自研究论文，应视为论文作者报告的研究结论，而非已经由独立机构确认的基准结果。1

Omega-0 的三阶段架构

第一阶段：压缩全身动作，学习视觉—语言表示

人形机器人的全身运动维度很高，同时控制腿部、躯干、手臂和手部并不容易。Omega-0 首先使用 Whole-Body FAST tokenizer，把高维的全身运动轨迹压缩成更紧凑的动作 token 或 latent 表示。这样，模型就能以更易处理的形式表达复杂动作组合，例如一边迈步、一边转动躯干并伸手取物。1

与此同时，研究人员将 Qwen3-VL-2B-Instruct 视觉—语言模型骨干适配到机器人环境中。训练时，模型使用可学习 token 区分两类视角：

• 自我中心视角（egocentric）：机器人通过自身摄像头看到的第一人称画面；
• 外部视角（exocentric）：从第三人称角度拍摄、用于观察机器人整体动作的画面。

这种设计让模型在训练阶段能够利用第三人称视角提供的全局监督，同时在实际运行时主要依靠机器人自身摄像头获取信息。1

第二阶段：在行动前预测未来视觉状态

第二阶段采用受 V-JEPA 启发的潜在空间预测目标。模型把视觉信息、语言指令和 本体感知（proprioception，即机器人自身关节、姿态和状态的测量数据）融合起来，预测未来的视觉特征，而不是试图逐像素重建未来画面。1

随后，一个扩散 Transformer 根据这些预测出的视觉表示，生成与机器人控制器兼容的全身动作 latent 序列。其关键思路是：机器人选择动作时，不只考虑“这个动作在运动学上是否可行”，还要考虑它可能带来的视觉结果。

例如，当目标物体位于机器人侧前方时，机器人可能需要先走近目标、调整身体朝向和摄像头视角，确认物体位置后再伸手抓取。Omega-0 试图把这些连续动作作为同一项任务中的协同过程来处理。1

第三阶段：将模型落地到真实机器人和家庭环境

在第三阶段，研究人员通过基于仿真的 grounding，将公开的人类演示迁移到机器人的动作 latent 空间中。之后，模型再使用人形机器人在真实家庭环境中执行任务的数据进行微调。1

实际运行时，Omega-0 不会一次性承诺执行完整的长任务，而是采用类似“滚动时域”的方式：

1. 生成一小段动作；
2. 执行这段动作；
3. 重新观察环境和自身状态；
4. 根据最新信息重新规划下一段动作。

这种 action chunking 机制能够让机器人根据新的视觉和本体感知信息及时修正路线，而不是像完全开环的系统那样，一旦开始就严格跟随一条固定轨迹。1

Omega-HOME 数据集包含什么

为训练和评估 Omega-0，研究团队构建了 Omega-HOME 数据集。该数据集包含 40.3 小时数据、4,827 个遥操作片段和 24 项家庭任务，数据采集频率为 30 Hz。1

数据经过同步处理，包含：

• 语言指令；
• 来自机器人摄像头的第一人称 RGB 视频；
• 来自 ZED 摄像头的第三人称 RGB-D 视频；
• 机器人的本体感知状态；
• 全身运动参考；
• 与机器人控制器兼容的动作 latent。1

这些任务被划分为八类能力：

• 取回物体；
• 清洁表面；
• 操作家用设备；
• 在不同容器之间转移物体；
• 处理布料；
• 整理收纳空间；
• 移动操作（mobile manipulation）；
• 使用工具完成地面作业。1

Omega-HOME 的重点并不只是静态桌面抓取。许多任务要求机器人移动底座、改变身体和躯干姿态、保持平衡，并在较长动作序列中操作家具、日常物品或工具。1

如何降低基准测试中的数据污染风险

根据论文描述的评估方案，测试中的 11 类任务被从 Omega-HOME 的训练数据中移除。剩余的机器人数据与公开的人类演示结合，用于前期表示和动作预训练；真实家庭数据则用于机器人 grounding 和后训练。1

这种划分可以降低模型直接记住测试演示的风险，使结果更接近对任务层面泛化能力的评估。但它并不能绝对保证不存在数据重叠。训练集和测试集之间仍可能在房间布局、物体类型、任务结构、机器人硬件或数据采集方式上存在相似之处。

更严格的验证方式，是在全新的家庭环境中，并使用不同的人形机器人平台进行独立复现。

真实家庭任务中的表现

在 11 项真实家庭移动操作任务中，论文作者报告 Omega-0 达到 81.8% 的平均成功率。这一结果使用的是一个统一模型，而不是为每项任务分别训练策略，也没有将行走和操作拆成彼此独立的模块。1

测试任务覆盖桌面操作、清洁、洗衣、物体转移、家电交互和移动操作等场景。论文还报告称，在该测试套件中，Omega-0 的表现超过了对比基线 π-0.5、EgoVLA、GR00T-N1.7 和 ψ-0。1

不过，现有材料没有清楚提供每个基线模型的完整总体成功率，因此更稳妥的表述是：论文报告了 Omega-0 在该测试套件中的领先排名，以及 81.8% 这一自身成绩，而不应进一步推导出未被明确展示的详细数值差距。

81.8% 对具身人工智能意味着什么

Omega-0 最值得关注的贡献在于架构方向。它展示了一种可能的路径：通过预测未来的潜在视觉状态，把人类演示、语言指令、视觉输入、本体感知和人形机器人的全身控制连接起来。1

传统系统可能分别学习“看到这个画面应该如何移动”和“如何抓取这个物体”。Omega-0 则试图进一步建立动作与未来状态之间的联系：机器人要移动到哪里、应该看向哪里，以及双手最终要如何操作物体，都可以放在同一任务框架中考虑。

但 81.8% 并不意味着人形机器人已经能够在家庭中长时间、无监督地完成各种工作。至少还有几项关键难题没有解决：

• 长时程可靠性： 在 11 项任务上的平均成功率，不能证明机器人可以连续运行数小时，也不能证明它能从累积误差中恢复，或稳定完成包含多个依赖子目标的复杂任务。
• 安全交互： 面对人、易碎物品、楼梯、杂物、宠物和突发动作，系统仍需要明确的安全机制、不确定性处理能力，以及硬件层面的验证。
• 跨环境泛化： 在保留测试对象和场景上的表现令人鼓舞，但并不能完全说明模型能够适应不同家庭、光照条件、房间布局、物品摆放习惯或机器人形态。1
• 持续适应： 真实家庭环境会不断变化。实用系统需要识别失败、在必要时请求帮助、以安全方式学习，并尽量避免每次变化都进行昂贵的重新训练。

因此，更准确的结论是：Omega-0 朝着统一协调人形机器人行走与操作迈出了重要一步。81.8% 是特定基准上的强劲研究结果，但还不是“家用机器人已经可以在没有监督的情况下处理任何家务”的证明。