NE时代

◎ 但它先盯住了“大模型接上硬件后能做什么”

△ 撰文：DONG.ZY

Anthropic开始系统测试机器人大模型能力了。

近日，Anthropic发布了名为“Claude plays robotics”的技术博客。研究团队把多种前沿语言模型接入机器人平台，测试它们在经典控制、腿式移动、空间导航和机械臂操作中的表现。

该技术博客中提及，Anthropic测试了仿真中的宇树G1人形机器人与Go2四足机器人、固定机械臂，以及一台实体Go2。

模型获得的控制接口也不相同：从直接输出电机力矩，到编写控制器代码、训练强化学习策略，再到监督预训练步态策略和 VLA。

Anthropic想回答的问题是：当通用大模型获得摄像头、传感器、代码工具和成熟机器人策略后，它究竟能在物理世界中做什么？

研究结果表明，模型直接控制机器人关节时表现较弱；控制接口上移后，它们已经可以完成部分导航、操作和策略监督任务。

这意味着，大模型进入机器人系统，不一定要先学会控制每一个电机。

◎ 不同模型在直接控制、代码控制、策略监督和训练监督接口下的综合表现。

01.

Anthropic先把机器人变成模型能力的试验场

Anthropic对机器人的关注已有铺垫。

2025年，Anthropic发起Project Fetch，让两组不具备机器人专业背景的员工使用一台宇树Go2完成传感器连接、程序控制、目标检测和自主寻球等任务。其中一组可以借助Claude，另一组只能使用互联网资料。

今年6月，Anthropic又发布Project Fetch Phase Two，把部分任务直接交给Claude Opus 4.7。

研究员只负责连接运行Claude Code的电脑、输入初始指令，并审批模型执行的命令。

Claude随后连接Go2的相机和激光雷达，编写控制程序，建立路径监测方案，并完成沙滩球检测。

◎ Opus 4.7与两组人类团队完成机器人连接、感知和控制任务的耗时对比。

在此前至少有一支人类团队完成的任务上，Opus 4.7的耗时不到人类团队的十分之一。

对两支团队都完成的四项任务，Opus 4.7平均用时为9分35秒，使用Claude的人类团队为181分钟，未使用Claude的团队为361分钟。

◎ Project Fetch四项共同任务的总完成时间。

不过，到了真正需要连续物理反馈的环节，Claude遇到了麻烦。

它可以让Go2移动到沙滩球后方，也能找到大致的推动方向，却无法稳定地把球推回指定区域。模型需要持续观察球是否偏离，判断偏差与上一条指令的关系，再调整下一步输入。

在该博客文章中，将这类问题扩展成一套更完整的测评。

Anthropic为模型设置了四类接口：直接控制时，模型逐步输出力或力矩；程序化控制时，模型编写一个根据观测输出动作的Python控制器；强化学习接口允许模型设计奖励、训练策略并部署；策略控制则让模型向预训练机器人策略发出高层命令。

同一个模型，在不同接口上会呈现完全不同的能力水平。

Anthropic没有把“模型会不会控制机器人”当成一个单一问题，而是拆成模型是否能直接控制执行器、是否能写出控制代码、是否能训练策略，以及是否能监督成熟策略等多个层次。

这比“Claude会不会开机器狗”更接近真实部署。

未来的机器人系统很可能本来就不是由一个模型从头控制到尾，而是由多个策略、传感器、工具和控制器共同构成。

02.

低层控制仍难，高层接口已经打开

模型直接控制腿式机器人时，结果并不理想。

宇树G1有29个自由度，控制系统需要持续处理重力、惯性、关节耦合和接触变化，一个小误差就可能让整个身体失稳。

在仿真测试中，没有任何模型能够让倒地的G1成功站起，较新的模型在机器人已经站立时的平衡表现有所改善。

◎ Claude Opus 4.6编写控制器维持仿真G1平衡，与无控制指令状态对比。

实时性也是一道障碍。腿式机器人的低层控制约需83Hz，而当前模型的推理速度远低于这一水平。

为排除时延影响，Anthropic在部分仿真测试中会暂停模拟器，等待模型生成下一条指令。即便如此，直接力矩控制的表现仍然有限。

◎ 不同模型通过程序化控制与强化学习策略完成Go2、G1站起任务的结果。

Go2的情况稍好。

◎ 不同模型直接控制Go2力矩时的表现。

较新的模型可以通过程序化控制，让仿真Go2维持短时间平衡并完成部分移动。

◎ 不同模型通过编写控制器完成 Go2 移动任务的结果。

接入预训练步态策略后，模型只需输出前进、横移和转向等速度指令，导航能力随之提高。

◎ 不同模型和推理配置在11项高层导航任务中的综合表现。

Anthropic也在实体Go2上测试了基础导航，模型可以从画面中找到目标并修正部分方向偏差，但空间记忆与自身定位仍会出错。

在办公室走廊测试中，Anthropic让模型仅依赖视觉控制Go2绕行一圈。所有测试模型和控制配置都未能完成任务。它们会错过路口、误判转向结果，或者坚信自己已经进入一条实际上并未进入的走廊。

一次实体测试中，模型还把玻璃门中的倒影误认为目标桌子，驱动Go2朝玻璃门前进，研究人员随后停止了机器人。

Anthropic分别为四足机器人提供深度热力图、画面准星、第三人称视角和朝向信息。结果显示，简单的指南针比大部分视觉辅助工具更有效。

◎ 指南针、第三人称视角、准星和深度图对高层导航表现的影响。

固定机械臂的测试也呈现相似规律。

在厨房风格的 LIBERO 任务中，模型需要识别物体、移动夹爪、调整姿态、完成抓取，再搬运和放置。

◎ Claude Opus 4.6直接控制仿真机械臂完成物体操作。

较新的模型更常到达目标、接触物体并完成抓取。

◎ 不同模型在抵达、接触、抓取等LIBERO子任务中的推进情况。

但直接控制的完整任务成功率最高为5.5%。

◎ 不同模型直接控制机械臂完成LIBERO任务的成功率。

Anthropic 还为机械臂提供深度图、物体分割图和可查询距离的光标工具。

◎ 机械臂测试中的光标、深度图和物体分割辅助信息。

其中，可查询夹爪与物体距离的光标工具带来了明显提升。

◎ 不同视觉辅助工具对机械臂操作成功率的影响。

这些结果说明，当前模型缺少的往往不是更多画面，而是把视觉信息稳定转换为自身位置、目标方向和下一步动作的能力。

直接输出力矩或末端动作，并不是通用大模型现阶段最有效的机器人接口。模型一旦获得预训练步态策略、方向工具或VLA，表现就会明显改变。

03.

VLA之上，可能还需要一个会判断的模型

Anthropic对VLA的测试，展示了通用大模型进入机器人系统的另一种方式。

在高层操作实验中，Anthropic使用MolmoAct作为预训练VLA。VLA根据相机画面和任务指令提出机械臂动作，语言模型则决定接受、修改还是替换这些动作。

◎ 不同语言模型在标准任务和VLA未见任务中接受策略建议的比例。

这种组合显著优于语言模型直接控制机械臂，但并不必然优于VLA本身。

在标准的40项LIBERO任务中，所有接受测试的语言模型都会在一定程度上损害MolmoAct的原有表现。

◎ 语言模型监督MolmoAct完成40项标准LIBERO任务的成功率和任务进度。虚线为VLA单独运行水平。

当VLA已经知道该怎么做时，额外的语言模型可能过度干预，把原本可执行的动作改坏。有些模型则不加区分地接受VLA建议，在策略失效时也不纠正。

Anthropic随后设计了三个MolmoAct无法独立完成的新任务。

在这组任务中，Claude Opus 4.5、Opus 4.6和Gemini 3.1与VLA组合后的表现超过MolmoAct单独运行。较强模型更能识别策略何时失效，并减少对错误动作的盲目服从。

◎ 语言模型与VLA组合在三项VLA未见任务中的抓取率和任务进度。

语言模型在机器人系统中的价值由此变得具体。

它未必比VLA更擅长生成每一步机械臂动作，但可以承担任务理解、策略监督和工具调用。VLA负责给出动作，大模型判断什么时候应该相信它，什么时候需要调整，什么时候应该换一种做法。

这也解释了Anthropic为什么把研究放在Frontier Red Team，而不是机器人产品部门。

当大模型直接控制关节时，它的物理能力有限；一旦接入成熟的步态策略、VLA和软件工具，它可以调用的能力迅速扩大。只测试纯模型，会低估它嵌入机器人系统之后产生的实际影响。

机器人系统可能由此出现新的分工：底层控制器负责平衡与稳定执行，VLA负责生成操作动作，通用大模型负责任务拆解、策略监督、工具调用和异常处理。

Anthropic还没有宣布制造机器人，也没有发布专门的机器人基础模型，它已经把“模型接上硬件后能做什么”纳入前沿能力与安全评估。

大模型公司对机器人的竞争，正在从训练端到端动作模型，扩展到谁能更好地调用和管理现成的物理能力。