◎ 让机器人干活，能像调用API一样简单吗？

△ 撰文：董志洋

“做同一个动作一万次，还是做一万个不同动作？”在OpenLET具身智能开发者大会上，清华大学交叉信息研究院助理教授、破壳机器人创始人许华哲，用这个问题解释他对通用机器人的期待。

两年前，他谈的是“Robots must learn”，机器人必须学习，如今他把重点转向“Robots must generalize”，机器人必须泛化。面对新的物体、环境，甚至一台新的机器人，模型能否继续完成用户交给它的任务，是他希望解决的问题。

对开发者来说，模型已经会做一些事，将它用到自己的任务中，却仍可能需要采数据、训练和评估，失败后再补数据。机器人能够完成复杂演示之后，用户还希望少花一些时间，就能让它在自己的场景里工作。

破壳机器人推出的RoboAPI，希望让开发者通过接口调用零样本操作能力，语言指令和机器人观测送入模型后，系统返回后续动作片段。支撑这套接口的，是世界—动作模型Poke-Aurora。

▎换个任务，还要重新教

许华哲先谈到了Figure两台机器人协同整理床品的演示，随后又把问题转向自己团队做过的麻婆豆腐。后者由机械臂完成烹饪，团队还展示过穿扎带等操作，但在他看来，这些困难任务的完成仍没有回答通用泛化的问题。

在麻婆豆腐任务中，团队展示了对光照、物体位置及任务流程变化的适应，许华哲也指出，这项演示尚未展示跨本体、跨场景、跨任务的泛化。能适应同一任务里的变化之后，模型还要面对另一类操作、另一处环境，甚至另一台机器人。

他也谈到，包裹处理这类场景会重复相似动作，每次又存在细微差异，具身智能能够处理传统方法难以应对的变化。而破壳机器人想进一步面对的，是大量不同的任务。

开发者把模型用到新任务中，通常会从一个基础模型开始，采集自己的场景数据，再微调、评估。成功率不够就继续补采，遇到反复失败的动作，还要加入人的干预，再将这些过程用于后续训练。

许华哲解释，演示项目可能花几天，大型项目则可能持续数月，数据中会有无效部分，机械臂过热等工程问题也会打断开发。即使已经拿到了基础模型，用户仍要为任务适配投入人员、设备和时间。

追加数据也需要针对失败的原因：机器人在哪一步停住、操作员怎样纠正、纠正后是否完成任务，这些过程都可能进入下一轮训练。用户需要把设备、数据与评估组织起来，基础模型才能逐步适应自己的任务。

如果每增加一个任务，都要重新组织一轮数据采集和训练，模型会做的事再多，用户也很难直接享受到这些能力。许华哲希望把更多工作放到模型端，用户有合适的机器人，给出一句指令，就能尝试完成相应操作。

▎把操作能力做成接口

许华哲在演讲中播放了GPT-Astra控制机械臂绘画的例子：机器人拿着画笔绘制金门大桥，并在后续尝试中改善画作。他将这类零样本操作视为通用机器人值得继续追求的理由。

但他同时指出，Astra在速度、使用成本和灵巧操作上仍有不足，语义与空间理解的能力，也需要进一步转化为高效的物理操作。破壳机器人希望在这一过程中，提供专门面向操作任务的具身模型。

他用GPT与ChatGPT的关系说明模型和使用入口的差别：基础模型有能力，还需要一个让更多人能够使用它的产品。因此，团队通过RoboAPI向开发者提供模型能力。

RoboAPI接收语言指令、机器人观测与状态，输出后续动作片段。机器人执行一段动作后，腕部相机采集到的新图像进入下一轮请求，模型据此继续输出动作，完成任务中的连续操作。

接入需要硬件配合，团队采用腕部鱼眼相机与末端位姿控制，并提供用于安装的3D打印件。许华哲介绍，开发者可以将相应装置接到自己的机器人上，再尝试通过接口调用模型。

腕部相机让模型持续看到夹爪附近的操作区域，机械臂则通过末端位姿控制执行模型输出的动作。用户换用自己的机械臂时，需要先接好图像输入和动作控制，再通过语言发起任务。

演示中，用户输入文字，机器人便尝试擦拭桌面、拿取物品、堆叠杯子和打开柜门。用“擦桌子”这样的指令发起任务，开发者直接调用的是一段操作过程，而不必先把手臂每一步怎样移动逐项写出来。

这种使用方式也有具体要求：镜头被遮挡会影响模型观察，网络传输会带来等待，指令则需要明确描述目标。团队还设置了安全保护，对可能伤害人体等不适当指令拒绝执行。

在团队展示的任务测试中，RoboAPI的平均用时为19.37秒，Astra的high fast配置为396.30秒；同组对照中的π0.5和MolmoAct2分别为34.65秒、42.14秒。许华哲据此概括，相对Astra，RoboAPI在这些任务中实现了约20倍提速。

这组对照也说明了许华哲为何在认可通用模型进展的同时继续投入具身模型：机器人实际操作时，用户需要等待动作完成，任务用时与理解指令的能力一起影响使用效果。

▎先学清楚，手怎样碰到物体

为了让模型学清操作过程，破壳机器人除了标注语言子任务，还通过CEA接触交互事件标注，记录与物体接触的位置、时间，以及对接触结果的预期。许华哲认为，这些更细致的描述有助于提高模型操作的确定性。

以拿杯子为例，“拿起杯子”交代了任务目标，接触发生在哪个位置、发生在动作的哪个阶段，则进一步说明这次操作怎样完成。模型要从示范中学习抓取，能利用的信息也就比一个任务名称更具体。

团队完成了数十亿次接触交互事件标注，数据覆盖人类视频、UMI示范和机器人轨迹，近90%的标注实现自动化。不同类型的操作记录，通过同一类接触事件描述，为模型学习物体交互提供信息。

自动化标注包含生成、细化与核验环节，多智能体参与处理，核验反馈还会返回前面的流程，修补不符合要求的结果。许华哲强调，数据标注对模型操作的确定性十分重要，并提到破壳机器人与乐聚在数据方面开展了合作。

人类视频、UMI示范和机器人轨迹的视角与动作记录方式不同，接触位置、时间和预期则提供了描述操作的共同依据。模型由此能够利用不同形式的示范，学习物体接触与任务进展之间的关系。

在模型内部，Poke-Aurora同时处理视频和动作，两条路径分别进行注意力计算，再通过MRC模块耦合。模型一方面预测后续画面，另一方面生成动作片段，执行后的新观测继续进入下一轮处理。

以打开柜门为例，动作输出决定机器人怎样移动，未来画面预测则描述门与周围环境可能出现的变化。团队希望模型学习这两者之间的关系，使对物理变化的预测能够帮助生成动作。

为此，团队设计了MRC（Modulated Residual Coupling）模块，在视频与动作模块之间增加信息交换路径。

在MRC的结构对照中，联合注意力方案将自身与其他模块的信息放进同一个softmax计算，MRC则保留原生注意力的结果，再单独计算耦合信息。其他模块传来的信息经过门控和投影，以增量形式加入原有结果。

这套设计希望让视频预测与动作预测的学习方向更一致。许华哲用对比热图说明，加入MRC后，对未来物理世界的预测与对未来动作的预测能够更好地协同，让世界预测支持动作学习。

团队还对训练基础设施进行了优化，以加快训练，许华哲表示，详细技术报告将于近期发布。

▎换一台机械臂，表现如何

破壳机器人还将同一个模型接到多种机械臂上，测试它在不同构型中的表现。

在立瓶子任务中，以UR7e/UR5e配合Robotiq 2F-85夹爪的表现为100%，Franka FR3/Panda配合同款夹爪的相对性能为87%，YAM Standard配合YAM Gripper为76%，Floating-base Tianji配合YAM Gripper为53%。各构型均采用腕部鱼眼相机与末端位姿控制。

许华哲表示，UR是当前最适配的构型，跨到其他机械臂后，表现会有下降。开发者能够在更多设备上尝试同一套模型，具体的机械臂与末端配置，也仍然影响执行效果。

许华哲还介绍，上海、NTU等地的实验室已经尝试通过RoboAPI控制自己的设备，完成插笔、按颜色叠杯等操作。他也提到有开发者将相机装到工业机械臂上进行尝试，外部使用者正在探索更多设备组合。

跨本体之外，团队还测试了不同类型的零样本操作。Poke-Aurora在物品转移与整理、姿态与形状对齐、环境交互三类任务中的成功率，分别为86.0%、54.1%和87.7%，同组Astra的结果分别为71.3%、36.3%和67.9%。

同一组测试也包含π0.5和MolmoAct2，许华哲指出，这两类模型主要面向后训练，直接比较零样本表现并不完全公平。对破壳机器人而言，这些测试对应的产品目标，是让用户进入新任务后，减少额外采集和训练就能开始尝试操作。

三类任务中，姿态与形状对齐的成功率较低。需要插接、放正等操作的开发者，接入后也需要测试模型能否将物体对准并放到目标位置，这些具体要求会影响任务完成情况。

接口也在扩展，演讲展示了单臂版本，双臂版本计划在11月陆续公布。双臂操作的演示则已经出现，团队希望将更复杂的操作过程通过接口提供给开发者。

破壳机器人还在准备自己的本体，许华哲展示了一段万圣节递糖的彩蛋：机器人采用白色软质外层，外层还可以更换，团队计划12月正式发布。他希望这款机器人最终能够进入家庭，并表达了对未来三至五年机器人服务人类的期待。

通过API向外提供操作能力，机器人企业也需要把模型的进步落实到用户节省的开发工作上。接入不同设备之后，用户能完成哪些新任务，还需要补采多少数据、调整哪些控制设置，将决定这套能力可以应用到什么地方，泛化的价值也会在这些具体的使用过程中接受检验。

-END-