◎ GTA-2，CMU 与博世研究院的新解法。

△ 撰文：张鑫

今年具身的热门话题是落地，不论是家用和工业都在讲从实验室走向量产。

但相比于数字世界的AI，物理世界的AI飞轮迟迟转不起来，其卡壳的关键在于数据。物理世界，尤其是工厂的数据很难获取。没有数据，具身泛化的优势也就无从谈起。

所以，在设法降低数据采集成本的同时（比如我们之前试用的觅蜂派众包数据采集方案），怎么利用相对少量的数据让具身的飞轮转起来也是研究的重点方向。

9月，卡内基梅隆大学（CMU）发布了一篇论文，介绍了其最新的GTA-2方法，就是在不需要针对具体任务的示范，也不进行后训练的方式下，通过基模能力实现泛化。值得一提的是，GTA-2合作方还有博世研究院匹兹堡团队。

“语言交互的两种做法”

语言，是人和机器人交互的首选。但对于机器人而言，内部要完成一系列工作。

比如让机器人“把白板上的红色涂鸦擦掉”，执行的时候，机器人得先回答一串问题：涂鸦的中心在哪、有多大，往哪个方向压，压多大的力，手是来回刷还是画圈。

目前大致有两种做法。

一种是端到端的VLA，输入图像和指令，直接输出动作，代表是 Physical Intelligence 的 π0.5。这类模型通用性好，但决策过程藏在模型内部，出了错很难判断问题出在哪。CMU的研究还发现，物体摆放、视角、光照、背景，甚至指令措辞稍有变化，这类模型的表现都可能受影响。

另一种是让大模型写代码，业内叫 Code-as-Policie。工程师事先写好“抓取”“移动”“放下”之类的函数，大模型负责调用和组合。这样做比较透明，但每个函数内部怎么看、怎么对准、怎么用力都已经写死，函数库里没有的动作就做不出来。

CMU看来，这两种做法都把“技能”当成最小单位，一个藏在模型里，一个封装在函数里。GTA-2 想把技能再拆小一层，论文里叫“亚原子级（ sub-atomic level）”。

怎么理解

GTA-2 的基本单位叫“任务轴控制器（ task-axis controller）”。

几个控制器组合起来，就是一个技能。擦涂鸦由两个控制器组成：一个沿白板法线方向保持 3 牛的压力，一个以涂鸦中心为圆心，走半径 5 厘米的螺旋。倒东西则是一个位置控制器让杯口对准容器，再加一个旋转控制器，让杯子绕倾倒轴转动。同时工作的控制器有优先级，低优先级的动作不能干扰高优先级的目标，比如擦白板时压力排在螺旋前面。

这样，一个技能被分成了两部分。用哪些控制器、按什么顺序和优先级，是技能的结构；涂鸦在哪、压力多大、螺旋多大，是具体数值。换一个场景，结构不变，只需要重新定位、重新填数。论文首页的例子里，同一个擦涂鸦技能放在三种不同的摆放下，螺旋半径和压力各不相同，控制器组合没有变。

当然，任务轴控制器并不是 GTA-2 首创。前作 GTA-1 由 CMU 团队在 2025 年发表，已经用它实现了技能在不同物体之间的迁移，但任务怎么拆、选哪些控制器、参数怎么调，都还要靠人工设计。GTA-2 把这一部分交给了大模型。

四个智能体分工

GTA-2 用四个大模型智能体完成从指令到程序的转换。四个智能体底层都是 Gemini 3.1 Pro，区别只在各自的角色说明、输入和输出格式。

以“把瓶子放进盒子”为例。第一个智能体负责拆任务，把指令拆成靠近瓶子、抓住、抬起、移到盒子上方、放下、松开六步。第二个负责为每一步选控制器，确定要用到的关键点和方向，比如瓶口、盒子内部，这时还不填数字。第三个负责填参数，比如悬停高度 15 厘米、末端朝向 180 度、抓取深度 2 厘米。第四个负责视觉定位，在深度相机的画面里找出瓶口、盒子内部和表面法线的位置，换算成三维坐标。

前两个智能体确定技能的结构，后两个把它落到当前场景里。最后由一个固定规则的编译程序生成机器人脚本，通过 ROS 接口发给机械臂；这一步不用大模型。执行时，各控制器根据机器人的实时状态计算指令，再按优先级合成。

整个过程没有用到任务示范，也没有训练或微调模型。

出了错改哪里

四步分开，还方便纠错。每一步的中间结果都单独输出，人发现问题后，可以把意见只发给对应的智能体：步骤拆错了找第一个，控制器选错了找第二个，瓶子抬得不够高找第三个，位置找偏了找第四个。被修改的环节重新生成，依赖它的后续环节跟着更新，其余部分保持不变，不需要重新训练，也不用从头再来。

研究者统计了每一轮反馈发给了哪个智能体。第一轮反馈大多发给负责选控制器的智能体，说明大模型基本理解了任务，问题主要出在把意图转换成控制器组合上；这类问题解决后，后面的反馈主要集中在视觉定位。

想象一下，如果放到产线上，这种能定位、能局部修改的方式，比重新采数据、重新训练一个模型要省事得多。

最终结果

实验用的是一台 UR5e 机械臂，配 Robotiq 二指夹爪和一台固定的 ZED 立体相机。14 个真实任务包括：把球放进篮子（另有加了障碍物的版本）、把方块放进抽屉、开微波炉、关抽屉、把水果和其他物品分别放进两个容器、把垃圾扫进簸箕、拧下螺母、擦涂鸦、改错字、熨领带、用刀切面团或海绵、拿起电话，以及握住杯把把杯里的东西倒进盒子。

第一组实验看零样本成功率和纠错效果。每个任务独立生成 15 次，共 210 次。不给任何反馈时，154 次成功，成功率 73.3%；纠正一轮后为 181 次，86.2%；纠正两轮后为 208 次，99.0%。三轮之内全部成功。倒东西、扫垃圾这类任务需要的纠正更多，但零样本下也有成功的。

（每个任务一个小柱状图，每个任务独立跑 15 次。每组有三根柱子（个别任务四根），从左到右依次是：零样本、纠正一轮后、纠正两轮后（个别任务还有第三轮）。绿色是成功的次数，其他颜色是需要纠正的次数，颜色表示意见发给了哪个环节）

第二组实验换了不同的物体摆放，每个任务测 20 次，并和三种方法对比：用 DROID 数据微调的 π0.5；让大模型直接写代码，调用同样的任务轴控制器；让大模型直接写代码，调用传统动作函数。两种写代码的方法各配了三个固定示范，GTA-2 没有示范。

（每个任务一组柱子，每根柱子测 20 次，纵轴是成功率。五种颜色分别是：GTA-2 纠正后版本（深蓝）：用人工纠正修好的技能去测新场景；GTA-2 零样本（绿）；π0.5（橙）：端到端模型；CaP-TAC（紫）：大模型直接写代码，调用同样的任务轴控制器；CaP-Primitive（青）：大模型直接写代码，调用传统动作函数。）

GTA-2 零样本的平均成功率为 73.9%，比表现最好的对比方法（写代码加传统动作函数，42.5%）高 31.4 个百分点。用人工纠正后得到的技能再测，平均成功率为 90.7%，在新场景中同样有效，说明纠正改好的是技能本身，而不只是某一次执行。π0.5 在熨领带、改错字、拧螺母等任务上成功率为零。

还有一个结果：把任务轴控制器直接交给大模型、让它一次写完整段程序，整体成功率低于调用传统动作函数，但在倒东西、切东西、扫垃圾这类依赖接触和工具的任务上更好。作者的解释是，任务轴控制器适合表达接触和工具操作，但要用得稳，需要分步骤的流程。

离落地的距离

CMU也坦白了几处短板。第一，它只能用控制器库里现成的“工具”，库里没有的动作，大模型再聪明也拼不出来，得有人先把新工具做出来。第二，它是“看一眼就闭眼干活”：动手前拍一张深度图，把瓶口、杯口这些位置都定好，干活时不再重新看。手上的力度能实时感知和调整，但东西一滑、一挪，原来记下的位置就错了，只能停下来重新看、重新做。第三，实验只在一套机械臂、夹爪和相机上做过，换成别的机器人还灵不灵，还没有验证。第四，出了错目前还要靠人指出来，作者打算以后加一个负责调度的大模型，让它自己发现问题，再把修改派给对应的环节。

总结

最近随着Astra的发布，具身智能的大脑有了新的解法。当然，做大脑的企业认为Astra离真正的机器人大脑还有距离，但不可忽视的是，大语言模型的跨界一定会给机器人带来一些改变。未来，用好这些模型或许也是具身大脑的一种好的出路。

论文标题：GTA-2: A Multi-VLM Framework for Synthesizing RobotManipulation Skills via Grounded Task Axes

-END-