NE时代

◎ 不只看见眼前，人形机器人开始预判下一步。

△ 撰文：DONG.ZY

人形机器人要进入真实环境，难点从来不只是看见一个物体，然后伸手抓住它。

它还要决定先走到哪里，身体该如何转向，双手在何时接触物体，脚步怎样避开障碍，并在视角、负载和接触状态变化时继续完成任务。

移动、平衡和操作不是三个独立动作，而是一段需要持续协调的过程。

7月15日，智在无界正式发布Being-M0.7——全球首个全身移动操作隐式世界动作模型(Latent WAM)。

它不直接生成未来的像素画面，而是同时预测未来视觉隐变量和紧凑的全身运动序列，再由动作专家将这些信息转化为机器人可执行的低层控制指令。

从镜面反射中寻找被遮挡的玩具，到拿着网具在水箱中捞取玩具鱼，再到抱着篮筐绕过障碍，Being-M0.7 试图解决的是同一个问题：

机器人如何在行动过程中预测下一步，并让身体、手和环境保持协调。

01.

全身移动操作

难在机器人要提前知道下一步

固定机械臂面对的往往是相对稳定的工作台：目标位置明确，机械臂底座不动，任务主要围绕抓取和放置展开。

人形机器人的全身移动操作则不同。

机器人需要在移动中调整自身与物体之间的距离，决定身体朝向和双脚落点，同时维持平衡。接触发生后，它还要根据物体的位置、阻力和任务进度继续调整手部与身体动作。

Being-M0.7的技术切入点，是让模型不只根据当前第一视角画面生成动作。

模型先接收一段观察历史和任务指令，在隐空间中预测未来视觉状态和未来运动信息。

其中，未来运动并非可直接发送给电机的控制指令，而是一份粗粒度的全身动作计划：它描述机器人后续要如何移动、手脚将处于怎样的关系，以及任务意图将如何推进。

随后，面向未来状态的动作专家读取这些预测表征，并结合当前的第一视角图像、机器人本体状态和执行进度，持续输出可执行的低层动作块。

这就形成了两层分工。

前一层负责预测场景和全身运动会如何发展，更新频率相对较低；后一层负责读取当前反馈，生成高频闭环控制指令。

项目论文中称，动作专家可复用世界模型的中间表征，在多次低延迟控制更新中保持对未来计划和当前机器人状态的共同参考。

比如镜像抓取任务则可以说明这种分工。

机器人从距离工作台0.5米或1米的位置出发，面对一个部分封闭的盒子，玩具位于机器人当前视野的遮挡区，机器人需要先根据镜面反射判断玩具位置，再走近并完成抓取。

这里，机器人不能只判断镜子里出现了什么，它还要把镜像信息转换为真实空间中的位置关系，规划自己靠近工作台的路径，并在身体到达合适位置后完成手部操作。

而搬筐避障任务则把问题放在负载条件下，机器人抱着篮筐向前移动，篮筐会部分遮挡第一视角视野；它需要在行走中绕开障碍，并通过前进和侧向迈步保持身体平衡。

这类场景里，动作不是一次性规划完成的，视角会随着走动改变，障碍物相对位置会变化，篮筐也会改变身体的受力与可视范围。

模型若能持续预测未来状态，就能为下一步落脚、转身和避障提供更早的参考。

02.

1万小时混合数据

先学人类如何协调身体

全身移动操作的数据成本很高。

要采集一段可用于人形机器人训练的真机示范，通常需要同步记录第一视角画面、本体状态、全身运动轨迹和可执行控制指令，还要处理遥操作、硬件安全和场地条件。

相比固定机械臂演示，这类数据更难规模化。

Being-M0.7的做法，是先从人类数据中学习全身协调的先验。

其预训练语料来自超过1万小时、过滤和切分前的人类中心混合模态数据，包含三类来源：第一视角视频与运动配对数据、仅视频数据、仅人体运动数据。

配对数据让模型学习视觉变化与人体运动之间的关系。仅视频数据提供更广泛的场景和交互信息，仅运动数据则补充全身协调、姿态变化和运动范围。

为了处理不同模态，团队采用了MoT，也就是Mixture of Transformers架构。

视觉和运动各自保留独立的投影、归一化和前馈计算，避免两类数据在输入层就被简单混合；当模型需要理解视觉变化如何对应身体运动时，两类表征又会在共享注意力层中交换信息。

视频与运动严格对齐的数据较少，而单独的视频或人体运动数据更容易获取。

MoT允许配对数据学习视觉与运动的联合关系，也允许非配对数据分别参与各自模态的训练。

模型由此把可用预训练数据从配对数据的千小时量级，扩展到超过1万小时的混合数据规模。

人类身体和人形机器人并不完全相同，数据也不能直接照搬。

Being-M0.7将异构人体运动统一转换为以头部为根节点的表示，并保留头部、双手和双脚的信息。

这个紧凑表示没有尝试复原人体的全部关节细节，而是保留全身移动操作中更关键的视角、接触和末端运动线索。

同一套表示也可以从机器人运动学中构造出来。

因此，人类数据提供关于身体如何协调的运动先验，机器人数据则负责将这些先验对应到具体本体的关节、执行器和控制接口。

智在无界将Being-M0.7视作其隐式世界动作模型路线从桌面灵巧操作走向全身移动操作的一次延伸。

此前，智在无界发布Being-H系列，持续押注人类第一视角视频训练；Being-M0.7 则进一步加入人体运动数据，试图让模型不仅理解手如何与物体交互，也学习身体如何在环境中移动。

03.

从镜子到鱼缸

模型开始处理连续全身任务

在真机后训练阶段，智在无界以宇树G1为平台，通过VR全身遥操作采集数据。

操作者佩戴PICO头显、手持控制器和脚踝追踪器提供全身运动；系统将操作者姿态转换为机器人控制命令，以50Hz执行，并同步记录第一视角图像、机器人本体状态和运动指令。

Being-M0.7在四类真机任务上展示了全身移动操作能力。

镜像玩具抓取考验遮挡下的空间推断。机器人要走向工作台，根据镜中画面判断隐藏玩具的位置，再伸手抓取。

水箱玩具鱼捞取考验工具使用和接触变化。机器人使用手持网具完成捞取，任务涉及水面造成的视觉变化、目标位置变化，以及手臂与工具的协同控制。

桌面整理包含移动放置抓取多个连续步骤。机器人走到桌前，将法棍从一个篮子转移到另一个篮子，抓取花束后离开工作区。

搬筐避障则要求机器人在负载条件下移动、绕开多个障碍，并维持稳定运输。

项目论文中提到，Being-M0.7在镜像抓取和水箱捞取上与GR00T-N1.6、Ψ0 做了对比。

镜像抓取中，Being-M0.7在10次测试中完成4次，GR00T-N1.6和Ψ0均完成1次。

水箱捞取的定量测试只评估机器人站定后的操作阶段，Being-M0.7完成3次，GR00T-N1.6完成1次，Ψ0完成2次。

两项测试合计15次，Being-M0.7完成7次，两个对照模型分别完成2次和3次。

这组任务把几个过去常被拆开的能力放到了一起：镜像任务要求空间推断、移动和抓取；水箱任务强调工具使用和动态目标；桌面整理测试连续任务推进；搬筐避障则要求在负载和视野遮挡中协调移动。

世界模型在这里不再只是生成未来画面，它开始为控制系统提供对场景演化和身体运动的结构化预判。

对人形机器人而言，这种预判决定的不是一只手如何移动，而是整个身体如何在空间中完成一段任务。

Being-M0.7 给出了一条从人类第一视角数据走向人形机器人移动操作的实现路径：先让模型学习视觉与全身运动如何共同变化，再用真机后训练把这种先验落到具体本体上。