NE时代

◎ “一脑千手”。

△ 撰文：DONG.ZY

机器人要进入更多工种，末端执行器也不会只有一种形态。与其让一双仿人手包办所有工作，让同一个模型学会使用不同工具，可能是更直接的路径。

7月23日，Generalist AI公布“Towards Machines with a Thousand Hands”项目。其机器人基础模型GEN-1已经覆盖五指仿人手、两指夹爪、改装夹具、打印部件和电动工具等末端执行器，训练体系涉及约9000种变化形式，真实交互数据超过50万小时。

视频中的机器人换上宽而平的手指搬运纸箱，用电动螺丝刀拧紧四颗螺栓，以夹子把鸡蛋放入水中，还会操作打蛋器、刮板和清扫工具。

Generalist AI还在任务进行期间拆下原有末端执行器，换上另一种工具。GEN-1观察新工具后，调整运动轨迹和接触策略，继续执行原来的任务。

Generalist AI关注的是，同一个机器人大脑，能否使用结构、驱动方式和接触特性完全不同的“手”。

五指灵巧手试图用一套接近人手的机械结构覆盖更多操作，专用工具则针对具体工序提高效率。

比如搬箱需要稳定承托，拧螺栓需要高速旋转，刮除杂物依赖大面积表面接触等等，不同任务原本就对应不同工具。

GEN-1选择适应这种硬件分化，机器人可以继续使用合适的末端执行器，模型则学习不同工具背后的共同物理规律，以及每种工具特有的操作方式。

01.

9000种“手”，对应不同的物理接口

末端执行器位于机器人与物体直接接触的位置，它决定机器人从哪里接近物体、怎样施力，以及执行器动作会对环境产生什么结果。

GEN-1覆盖的末端执行器包括市售工具、打印部件，以及在标准两指夹爪基础上制作的定制结构，部分装置还采用新的驱动方式和摄像头位置，其中一些设计来自实际商业场景。

摄像头位置变化会改变模型看到的工具和工作空间，驱动结构变化则会改变模型能够输出的动作。即使任务目标相同，机器人换手后也无法直接沿用原来的控制方式。

Generalist AI把每一种“手”比作一种物理交互语言。

电动螺丝刀的旋转速度远高于手指；胶带分配器要求机器人同时处理张力和粘贴位置；夹子的弹性与回弹会影响接近物体和释放物体的方式。

金属铲和刮板通常沿物体表面工作，机器人需要处理一段边缘与表面的分布式接触，而不是围绕单个抓取点闭合夹爪。美工刀和削皮器则要求机器人沿限定路径控制作用力和工具角度。

工具改变了模型的动作词汇，夹爪可以张开、闭合和移动，螺丝刀增加旋转执行，刮板把作用力分布到一段边缘，夹子又把手部位移转化为带有弹性的夹持力。

模型还要区分工具坐标与机器人手腕坐标。

拧螺栓时，真正对准目标的是批头；削皮时，发挥作用的是刀刃；刮擦时，机器人需要控制工具边缘与桌面的夹角。末端工具的工作点不一定与机械臂末端重合。

跨末端执行器泛化比识别工具名称更复杂，模型需要理解工具的有效作用区域、运动约束和接触结果，再把任务目标转换成适合当前工具的动作。

Generalist AI认为，手的结构可以改变，几何、接触、摩擦、力和动力学规律不会随之消失。团队希望GEN-1通过数千种感知运动接口，学习能够迁移到新工具上的物理表征。

Generalist AI用多语言模型解释这种训练方式。

不同语言拥有各自的词汇和语法，但一种语言中学到的概念也可能帮助模型理解另一种语言。对应到机器人领域，模型可以从多种末端执行器中提取共有知识，再区分某项能力究竟属于工具，还是属于物理世界。

例如，机器人使用夹爪和夹子时都要处理物体滑落，但两种工具产生夹持力的方式不同，模型可以复用对重力、摩擦和物体姿态的理解，再为夹子的弹性结构生成另一套动作。

专用末端执行器在工业自动化中已经大量存在，吸盘用于搬运平整工件，大行程夹爪处理箱体和重物，焊枪、喷嘴、刷子及检测探头分别服务不同工序。此外，自动换刀和工具更换装置也已进入产线。

现有自动化系统通常由工程人员提前配置每种工具的坐标和程序，Generalist AI试图把更多适配工作交给模型：机器人观察自己当前使用的工具，再决定应该采取何种动作。

Generalist AI把未来机器人硬件的分化描述为形态上的“寒武纪爆发”。在其设想中，吸盘、夹爪、刷子和等离子焊接喷嘴都可以成为同一套智能系统的物理接口，五指仿人手只是其中一种。

这条路线没有要求整机厂商统一末端硬件，仓储、装配、清洁和人形机器人可以保留各自的工具选择，GEN-1负责适应这些接口。

02.

参数变化，帮助Generalist AI挑选下一种“手”

约9000种末端执行器不会给模型带来等量的新知识，Generalist AI用不同工具的数据分别微调GEN-1，再比较微调前后的模型权重，观察一种工具给模型带来了多少新信息。

团队把两组模型之间的权重差异视为一次“任务更新”，并进一步分析这些变化落在传感处理、Harmonic Reasoning还是动作控制部分。

实际测试中，不同末端执行器引起的相对参数范数变化介于2.5%和11.4%之间。其中，电动螺丝刀约为11.4%，夹子约为2.5%。高速旋转工具与模型已有操作经验的差异更大，因此需要调整更多原有参数。

打蛋器与削皮器的差异则出现在感知环节。

打蛋器对传感处理相关权重的影响更大，Generalist AI认为，这与打蛋器细而稀疏的金属丝结构有关，模型需要从有限的视觉信息中识别工具形态和工作区域。

这一结果也给出了具体的数据补充方向：继续采集纤细、视觉特征稀疏的工具，强化模型对这类几何结构的感知。

权重变化由此成为数据采集的反馈信号，研发团队可以判断模型在哪类工具上需要作出较大调整，也可以定位新增知识主要影响感知、推理还是动作控制。

机器人数据采集需要占用硬件、操作人员、任务场地和设备运行时间。即使采集时长相同，不同数据给模型带来的信息量也可能不同。重复记录结构相近的夹取动作，主要加强已有能力；增加新的驱动方式或接触表面，则可能扩展模型的操作范围。

Generalist AI也提到，并非所有末端执行器都能提供同等强度的学习信号。标准两指夹爪拥有更广泛的现实用途，因此仍会在训练体系中占据重要位置。

“千手”计划既在扩大工具覆盖范围，也在筛选更有价值的新接口。团队先让GEN-1接触更多末端执行器，再根据模型变化决定下一批数据采什么。

GEN-1采用面向物理交互训练的基础模型路线。

Generalist AI表示，模型约99%的参数从头训练；公司没有把GEN-1定义为在现成视觉语言模型上添加动作输出的VLA，也没有用单一世界模型概括其技术架构。

Generalist AI将GEN-1称为一个能够实时输出动作的大型多模态模型，同时也把它视为一套系统。预训练、后训练、强化学习、多模态人工指导和推理阶段技术共同影响其表现。

末端执行器多样性为这套系统增加了新的扩展维度。除了模型规模和数据时长，工具种类也开始决定模型接触过多少种几何结构、驱动方式和受力关系。

03.

中途换手，检验模型能否重新组织动作

Generalist AI在GEN-1执行任务期间更换末端执行器，再让同一个模型继续运行，模型会观察新工具，基于当前画面调整行为，寻找新的运动轨迹和接触方式。

Generalist AI认为，混合工具数据迫使模型根据眼前的“手”生成动作，模型如果只记忆固定操作策略，就无法处理同一任务下不断变化的工具。

任务中途换手要求GEN-1同时保留任务目标、环境状态和执行进度。工具改变后，模型还要重新判断可用动作，并把尚未完成的步骤转换成新的轨迹。

两种外形相似的夹爪也可能拥有不同的开合行程、接触材料和驱动特性。同一种工具改变安装角度后，有效工作方向也会变化，模型需要结合视觉和操作结果判断工具能力。

Generalist AI表示，GEN-1在混合数据训练中学到的是形状、接触表面与物体相互作用的先验，模型根据当前末端执行器选择相应的驱动策略。

所谓“认出自己的手”，包含对工具功能的理解。模型要知道哪里可以接触物体，动作指令会让工具怎样运动，以及这种运动能否推进当前任务。

GEN-1此前已经展示过任务偏离后的调整能力。在汽车零部件分拣任务中，垫圈位置发生变化后，模型可以将其放下重新抓取，也会借助插槽调整握持位置，或调用另一只手完成双手重抓。

面对意外变形的柔性物体，GEN-1也会改变动作并继续任务。Generalist AI把这类能力归入“临场调整”，并与可靠性、速度共同构成其对任务掌握程度的评价。

物体偏移、抓握失败和工具更换都会使原有动作路径失效，GEN-1需要保持目标不变，再根据新的现场状态寻找另一条路径。而中途换手把这种调整能力扩展到了机器人自身硬件。

在Generalist AI公开的选定任务中，GEN-1平均成功率为99%，GEN-0为64%，不使用预训练的对照模型为19%。每项公开结果约使用1小时机器人任务数据完成适配。

连续运行测试覆盖汽车零部件分拣、T恤折叠、扫地机器人维护、积木装箱、纸箱折叠和手机包装。公开记录包括连续折叠86件T恤，维护超过200台扫地机器人，处理1800块积木、超过200个纸箱和超过100部手机。

速度测试中，GEN-1完成纸箱折叠平均用时12.1秒，GEN-0和π0使用相同纸箱约需34秒；GEN-1把手机装入包装的用时为15.5秒，速度约为GEN-0的2.8倍。

工业自动化已经可以通过工具更换器完成机械接口切换，工程人员随后为不同工具配置程序。GEN-1所处理的是换手之后的决策：识别工具、理解接触方式，并继续当前任务。

机械换手与模型适配结合后，一台机器人可以在不同工序之间调用夹爪、螺丝刀、检测探头或其他专用工具。统一模型负责保留任务状态，每种工具负责完成适合自己的动作。

这种产品形态给通用机器人提供了另一种解释，通用性可以来自能够更换的工具，以及一套理解多种工具的模型，不必全部压在一副结构复杂的仿人手上。

仿人灵巧手仍会服务于人类环境中的通用抓取和精细操作，工业夹爪、吸盘和工艺工具也会继续存在。而机器人硬件越分散，跨末端执行器复用模型的价值越直接。

GEN-1覆盖约9000种末端执行器变化形式，让机器人大脑多了一项评价标准：它不仅要完成更多任务，还要理解自己正在使用哪只“手”，并在换手之后把任务继续做下去。