◎ 机器人干活，一个大模型够吗？

△ 撰文：董志洋

在英伟达的一场实验演示中，机器人要自己取样，把样品放到托盘上，再用显微镜观察。实验中有一步要求把工具连续蘸两次，机器人会做这个动作，却有时记不清已经蘸了几次。

英伟达让两个模型分工：世界动作模型GROOT 2操纵机械手，GPT-6 Astra则根据手腕的上下运动计数，第二次蘸完就让它停手。

△ Astra 根据手腕运动计数，两次浸蘸后切换任务。

在奥斯汀举行的2026机器人学习大会（CoRL）上，英伟达机器人业务总监、杰出科学家Jim Fan展示了这段实验。样品移到显微镜下，Astra判断动作是否到位的依据也换了：它直接看显微镜传回的图像，指导机器人转动旋钮，直到样品清晰起来。

△ 左上角是机器人调焦的动作，右上角是显微镜视野。

两个月前，Astra指挥机器人作画，让机器人研究者多少有些不是滋味。Jim Fan在台上模仿起同行自我安慰的口吻：“他们还是需要我的运动规划器，对吧？”

他给机器人技能提了两个要求：人示范给它看，它得学得会；执行途中，上层模型也得指挥得动它。 就像显微镜实验，Astra能判断什么时候该停，器材怎么拿、手腕怎么动，大部分动作仍由GROOT 2完成。

▎机器人怎样连续完成二十多步操作？

在一间模拟的UPS门店里，机器人拿起剪刀，把手指套进剪柄，剪下标签，再用手指把标签从底纸上揭开，贴到包裹上，最后扫码。团队用一小时的示范数据，为这套流程微调了GROOT 2。

单看扫码，动作并不复杂，可如果标签没揭下来，手臂即使准确移到包裹上方，也没法把标签贴好。长任务难就难在，每做完一步，物体的状态都可能改变，前一步留下的偏差会跟着机器人进入下一步。

Jim Fan说，团队研究的长程灵巧操作常常超过三分钟，有的超过五分钟，要连续做二十多步。粗盐过滤就是一例：机器人把盐舀进烧杯，搅拌溶解，再过滤盐水，做完还会收拾实验台，省下研究人员重新布置台面的时间。

GROOT 2有20亿个参数。接到“组装玩具卡车”这样的指令，它会读取多个视角的画面和机器人当前的状态，在同一次扩散推理中，既预测接下来会看到什么，也输出机器人要执行的动作。

演讲里，一段看似由机器人腕部相机拍摄的操作视频，其实是模型预测的未来画面。接下来播放的才是真机操作：机器人从GB300设备上取换内存条，整个片段自主执行、原速播放，没有剪辑。

为了让模型在机器人本机上跑得更快，英伟达还做了GROOT 2 Turbo，同样保留20亿参数，但用来表示视频空间信息的token数量只有标准版的四分之一。

团队把推理延迟和任务进度放在一起评估，后者衡量机器人能把一连串操作做到哪一步。标准版在双臂夹爪和灵巧手任务上的进度分别为81%和87%；Turbo反应更快，在双臂夹爪任务上与标准版接近，换到灵巧手任务，进度差距就明显多了。

▎机器人怎样从人类示范中学会动作？

教一项新技能，不一定要先占用一台机器人。英伟达团队让人拿着UMI夹具做装配，仅用这些示范微调模型，再换用形态不同的YAM夹爪，机器人也完成了整套装配。

拧瓶盖要用到几根手指之间的配合，团队为此设计了DexUMI 外骨骼。它的机械结构与目标灵巧手一一对应，人戴着它拧一次瓶盖，各根手指怎样配合就能记录下来，团队再用这些示范微调GROOT 2。

关节运动能对应，相机看见的却不是同一只手。示范时，镜头里是人手和外骨骼，实际执行时，画面里换成了灵巧手。Jim Fan认为，模型此前做过的视频预训练，帮助它跨过了这层外观差异。

△ 机器人用双手旋拧瓶盖，右上角为手部近景。

再看前面的粗盐实验：放好过滤材料、润湿、倒入盐水，这一段只用了人戴动捕手套采集的示范，不必再遥控真机重演。抛掷这类很难通过遥操作复现的快速动作，也可以让人直接做给机器人看。

英伟达把这种先用人类示范或仿真轨迹微调模型，再将技能迁到真机上的方法称为X-Adapt。在团队的迁移测试里，UMI夹具示范迁到YAM夹爪的成功率为86%，DexUMI一项为71.7%。

从人手示范迁到灵巧手的 Human→Dexter 一项更难。GROOT 1.7和对照模型π0.5的成功率分别只有1.3%和2.5%，GROOT 2把成绩提高到38.75%，做不成的时候依然比做成的时候多。

仿真则提供了另一条路：团队在Isaac Lab中用强化学习训练策略，改变环境条件以生成不同的操作轨迹，再用这些轨迹微调模型。仿真迁到真机后，灵巧操作的测试成功率为85%，全身任务为83.3%。

从工作台前的抓放，到走进厨房清理洒出的咖啡，机器人得一边移动一边干活。它身上有两块芯片：Jetson AGX Thor每秒运行一次GROOT 2 Turbo，每次输出80个运动token；Jetson Orin NX上的全身控制器SONIC则以50Hz运行，在两次模型推理之间持续更新身体动作。

▎机器人动手时，大模型怎么指挥？

机器人已经会抓放，让它把一桌东西分进三个垃圾桶，新要求却大多跟手指怎么动无关：可回收物优先，破损或渗漏的按普通垃圾处理，拿玻璃瓶时还得让它保持直立。

Astra读懂这些规则，把要拿的物品和引导轨迹直接标在相机画面上，GROOT 2就能据此操作。两者通过WAM API配合，玩汉诺塔也是同样的分工：上层模型推算下一步该挪哪个圆盘，动作模型负责拿放。

△ Astra 在相机画面上标出分拣目标和引导线。

开头的显微镜实验更进一步，用的是WAM Edit。Astra不只指定下一步要做什么，还能一边看画面，一边读取机器人自身的运动状态，必要时直接修正正在执行的动作。

装玩具飞机时，问题出在紧固之前：GROOT 2把上层机翼拿反了。这时，一个叫ASPIRE的框架暂停原来的动作，调用纠错程序轻推机翼，改变它的朝向，再把控制交还给GROOT 2，接着安装。

△ 机翼方向有误，系统在紧固前暂停，纠正后重新安装。

这一下轻推，是团队先让 Astra 在仿真里试出来的。有效的处理办法被写成程序，存进技能库，真机遇到同类问题时可以直接调用；装配仍由动作模型负责，不用为了纠正一种失误重新训练模型。

工作人员再往桌上倒入散件，机器人继续组装。谈到这段演示，Jim Fan说：“Neither Astra nor Groot can do this alone. And you need both.” 单靠Astra或GROOT，谁都不能独自完成这项装配。

▎英伟达先开放10万小时训练数据

想教自己的机器人干活，开发者首先得有示范数据。英伟达在会上宣布，当天开放Human-1M项目首批10万小时内部训练数据，还将提供UMI、DexUMI和Flexible Neck等硬件的设计图，方便开发者自行采集。

GROOT 2、GROOT 2 Turbo的模型权重和X-Adapt适配方法计划于12月开放。需要先在仿真里试动作的团队可以使用SimFoundry，将真实场景重建成经过物理验证的仿真环境，其中既能模拟粒子，也能模拟带关节的物体。SimFoundry 1.0在演讲当天已可用，2.0计划于2027年初推出。

用于调度程序技能的ASPIRE也在开放之列。至于怎样从大量操作录像中找出失败，Jim Fan展示了标注模型套件FLORA：画面里机器人没拿稳一个白色包装袋，袋子一掉，FLORA就标出了失败的时刻，还写明了是哪件东西掉了。

△ FLORA 对白色包装袋掉落的自动评估。

除了评估任务结果，FLORA还可以描述操作、生成训练所需的奖励函数。按Jim Fan的比较，在评估表现相同的条件下，本地部署FLORA的成本约为使用Astra的1/125。

演讲最后，Jim Fan放了一段原速、未经剪辑的演示：机器人划着火柴，点燃实验台上的灯。他选这个动作，是因为隔着遥操作设备很难把握划火柴的时机，需要机器人在本地高频推理。

△ 机器人划着火柴，点燃实验灯。

听懂“把灯点着”不难，难的是火柴擦过去的那一下。通用模型可以判断下一步做什么，也能看出灯有没有点着，但火柴握得稳不稳、手腕划得够不够快，取决于机器人自己的动作模型。

能把这样的手法教给机器人，让它需要时就使得出来，是Jim Fan看重的本事。

值得一提的是，Jim Fan 提到的那段 Astra 指挥机械臂作画的演示，破壳机器人创始人许华哲也在演讲中放过。

此前在“破壳机器人许华哲：具身智能，也该有自己的ChatGPT”一文中，我们写到许华哲借ChatGPT打的一个比方：有了基础模型，还要给人一个方便的入口，才能让更多人用上它的能力。

放到机器人身上，两人的观点有一个交点：已经学会的动作，应该能被再次调用。

Jim Fan展示的是Astra怎样调用和修正GROOT 2的动作，许华哲则把入口交给开发者：接好自己的机械臂，通过 RoboAPI 发出“打开抽屉”的指令，传入机器人看到的画面和当前状态，模型就会返回接下来该怎么动。

对开发者来说，这套本事值不值得用，最终还得看换一台机械臂、换一项任务，能省下多少重新采数据、教动作的工夫。

-END-