关键变化:从“重新训练”转向“当场适应”
X Square Robot开源的HOST,全称为 Human-to-robot One-Shot Skill AcquisiTion,最值得关注的地方并不是机器人已经能够稳定完成所有家务,而是它改变了获取新物理技能的思路:一项新任务不一定要先变成一个新的训练项目,也可以像一次提示一样,在推理阶段提供给机器人。
按照论文报告,机器人观看一段平均29秒的人类示范视频后,平均任务成功率达到62%。作为对照,基于Pi-0.5系统的方法在使用约50次机器人示范、进行4小时微调后,成功率为38%。这些数字来自作者设定的实验环境,不能直接等同于真实家庭或工厂部署中的可靠性。
18
34
传统的模仿学习通常需要针对每项新任务收集示范数据,再进行优化或微调。这意味着大量遥操作时间、机器人占用时间和数据准备工作,也可能带来一个常见问题:模型在学习新技能时,原本掌握的能力出现退化。
HOST把“适应”放到了推理阶段。预训练模型的权重保持不变,示范视频则作为当前任务的上下文输入。这种方式更接近大模型的上下文学习,而不是通过梯度更新把一个新行为永久写入模型。此前的机器人学习研究也探索过类似方向:模型可以利用观察—动作历史在不更新权重的情况下调整行为。
20
因此,更准确的说法不是“机器人在29秒内从零学会了所有物理规律”,而是:一个已经经过广泛预训练的技能先验,利用一段视频来识别、定位并执行当前的新任务。
HOST为什么不直接照搬人类动作
人和机器人拥有不同的摄像机位置、手部形态、关节结构、可达范围和运动速度。如果直接传输视频像素或关节轨迹,动作很容易因身体结构不同而失效。
HOST采用了一套“自我对齐”的级联预测流程。系统首先判断机器人在示范任务中所处的进度,随后从机器人自己的视角预测接下来应当看到的状态,最后根据这些预测结果生成动作。
18
这套流程中的不同模块分别承担不同职责:
- 视觉模块:理解示范任务及其目标,并将其转换到以机器人为中心的感知框架中。
- 动作生成模块:把预测出的结果转化为机器人可以执行的动作。
- 动态时间规整(DTW):对齐任务中相互对应的阶段,处理人和机器人执行速度不同的问题。
这一区别十分重要。机器人并不需要复现示范者的身体力学,而是要理解一连串有意义的状态变化,再用自己的身体找到达成目标的路径。
从认知科学到仿真:一套更广泛的训练配方
HOST的设计也体现了更偏向目标导向的模仿观:观察者先判断一个动作想要实现什么结果,再根据自身身体条件选择合适的运动方案,而不是逐帧重放一条轨迹。
在这种分工中,仿真环境和大规模预训练可以在部署前提供广泛的变化与基础能力;一段简短的真实世界视频,则在任务发生时补充机器人当前缺少的具体信息。这意味着具身智能或许可以采用这样的训练配方:
离线阶段学习广泛的物理和行为先验,执行阶段再利用上下文快速适应具体任务。
这一方向也与开放机器人数据集和跨形态基础模型的发展相呼应。Open X-Embodiment项目汇集了来自22种机器人、21家机构的数据,覆盖超过100万条真实机器人轨迹,研究显示,不同机器人平台之间的经验可以产生正向迁移。
25
开源的意义:让“视频变技能”接受更多检验
HOST开源后,其他研究人员和开发者可以检查、复现并测试这套方法。与只展示一次的封闭式演示相比,开放实现更容易回答一些关键问题:视频到动作的迁移能否跨越不同摄像机、机械臂、机器人形态、环境和任务继续成立?
X Square Robot还为其WALL具身模型生态开源了训练、推理、数据准备和评估工具,包括基于LeRobot的数据处理流程、模型配置、流匹配与FAST动作分支,以及面向真实和仿真机器人的评估工具。
26
27
对X Square Robot来说,开源可能同时服务于两个目标:一方面加快外部实验和反馈,另一方面让开发者逐渐熟悉其模型与硬件生态。但开源本身并不能证明HOST的基准结果。它真正带来的价值,是让核心假设更容易被检验:机器人是否可以依靠一次紧凑示范来适应新的操作任务,而不必每次都重新微调模型。
62%的成功率意味着什么,又不意味着什么
在示范数量和训练时间明显减少的情况下,62%的成功率是一个值得关注的研究结果。但它还不是可以放心交给家庭机器人使用的自主能力——按照该项评估,仍有接近五分之二的尝试失败。
18
34
这项结果也没有证明系统在所有真实环境下都足够稳健。后续测试仍需要覆盖光照变化、杂乱场景、物体外观变化、接触动力学、错误恢复、安全约束、较长任务序列,以及不同机器人身体之间的迁移能力。由于论文属于研究预印本,相关比较也依赖特定基准,因此独立评估同样重要。
18
34
更可信、也更有价值的结论是:HOST并没有证明“人形机器人已经能看一段视频就学会家务”,但它提出了一条可能的新路线——先让模型广泛预训练,再通过人类示范在推理时快速获取具体技能,同时避免为每项任务重复进行遥操作、数据采集和梯度更新。
如果这一结果能够在作者之外的机器人、任务和环境中得到验证,推理时技能获取或许会成为具身智能训练中,继大规模预训练和任务专属微调之后的另一种重要范式。