NE时代

◎ 一页纸，考验机器人的「手感」。

△ 撰文：董志洋

机器人用灵巧手翻书，把书页翻过去还不够。如果要求它每次只翻起一页，它还能做到吗？

UVTA的翻页实验要求机器人靠近书本时放慢动作，用指尖搓开页边，再把分出的纸页向左翻去。研究团队将分开页边、一次翻过多页和准确翻过一页，分别记为0.3、0.7和1分；只有准确翻过一页，单次翻页才能拿到满分。

上海交通大学、北京通用人工智能研究院、Sharpa Robotics和北京理工大学等机构参与了UVTA研究。团队在装有两只Wave灵巧手的Sharpa North上测试，五项任务由右臂和右手执行：翻书、拧亮灯泡、拨动开关、按材质给球分类，以及用滴管转移液体。

翻书的难点发生在手指碰到纸以后：如何从贴在一起的几页中分出一页，并继续把它翻过去。研究团队记录人手操作时的画面、运动和指尖接触，再把这些记录与机器人示范放在一起训练。

人手示范，要记录接触

采集人类示范时，操作者手背上戴着一副被动式外骨骼，可以直接用自己的手翻书。

外骨骼记录22个自由度的手指运动，腕部鱼眼相机拍下手前画面；两枚追踪器分别固定在桌面和手腕上，用于还原手腕相对桌面的位姿。

五个指尖各有四块压阻感知区域，纸张压到哪一块、接触怎样变化，都会留下电信号。团队把腕部画面、手指动作、手腕运动和20路指尖触觉记录按统一时间对齐，保留完整的翻页过程。

△被动式外骨骼同步记录腕部位姿、指尖压力和腕部画面

团队选择直接记录人手操作，与灵巧手遥操作的难度有关。

隔着控制装置驱动机器手时，操作者要处理大量手指关节，却很难直接感到机器手指尖的接触；自己翻书时，人可以在碰到纸张后调整手指位置和用力。

五项任务，各采集1000条人类示范和150条机器人示范。

人类采集时，团队更换物体、背景和手套外观；North上的机器人示范则保持相对固定的桌面布局和初始配置。前者记录更多不同的操作与接触，后者提供能在目标机器手上执行的动作。

△左侧机器人示范的场景相对固定，右侧人类示范覆盖更多对象与环境

人手数据怎样交给机器人的手

两类示范都从手腕附近拍摄，但相机与手腕的距离、方向会影响画面。团队标定人手采集装置上的相机位置，使它相对手腕的几何关系接近North的腕部相机，模型便能从相近视角看到纸张和手指。

此外，手指动作也要转换。团队先根据外骨骼记录的关节角度，算出人手五个指尖的位置和朝向，再用带约束的逆运动学，求出Wave灵巧手对应的22个关节目标；手腕运动则写成相对当前位置的位移与旋转。

人的捏纸动作经过这一步，才变成机器手可学习的动作目标。

而两种手的指尖触觉信号还需要对齐。人手指尖用压阻区域测接触，Wave指尖的视触觉传感器则记录接触造成的局部形变，原始信号并不相同。

UVTA中的VTPM把机器手的形变图分成与人手对应的四个区域，每区汇总为一个读数；五根手指处理后，人手和机器手都有20维指尖接触记录。

△VTPM把指尖形变图汇总为分区读数，供人手与机器手的触觉记录对齐

团队还分别校正两套传感器的触觉基线，把画面、接触信号、手腕位姿和手指动作按每秒30次对齐。训练时，人类与机器人示范各占一半采样机会。

指尖接触，怎样影响下一步动作

手指搓开页边以后，还要判断纸页是否抬起，并继续调整手腕与手指。UVTA让模型在学习动作的同时，也学习这些动作之后指尖接触会怎样变化。

模型每次接收一帧腕部图像和当前20维触觉，图像经过视觉编码器，得到384维表示，再与触觉读数合成404维输入。

动作分支用扩散模型预测未来16步，每步包含9维腕部相对运动和22维手指关节目标；另一条分支预测未来16步的20维指尖触觉。两个目标共同参与训练，未来的接触变化因此进入模型的学习过程。

翻页时，手腕要把整只手送到纸张附近，手指还要搓开、抬起并翻动纸页。团队分别计算腕部和手指动作的训练误差，再等权合并，避免手指关节维度更多、在总误差中占过大比重；未来触觉误差按0.2的权重参与训练。

△当前图像和触觉进入共同表示，模型分别训练动作预测与未来触觉预测

真机执行时，机器人先完成预测动作中的前8步，重新读取腕部画面和真实的指尖接触，再生成下一段动作。手指在页边摩擦、抬起和翻动时，策略便随新观测更新；动作分支负责给出机器人指令，未来触觉预测则参与训练。

翻页任务的消融实验显示了两类触觉信息的作用：完整方法得83分，保留当前触觉输入、去掉未来触觉预测后得58分；只用视觉输入时得47分。

五项任务，得分差距在哪儿

团队为五项任务分别训练策略，每项进行10次真机测试，再把完成阶段的平均得分换算成百分制。

UVTA翻页得83分、拧灯泡80分、拨开关88分，球体分类56分、滴管移液44分，五项平均70分；同一测试中，成绩最高的对照方法T-Rex平均29分。

灯泡起初松放在灯座里，机器人握住灯泡，协调手腕和手指旋转，直到灯泡持续点亮。

拨开关时，食指和中指稳住断路器，拇指把拨杆推到开启位置。

两种球外观相近、材质不同，机器人要先接触球体，再将它放进对应材质的杯子。

△硬球分类

△软球分类

移液时，机器人要握住滴管，从烧瓶中吸出水，带着装液的滴管移动，最后将水滴入目标杯；这项任务的得分在五项中最低。

只使用人类示范训练时，五项任务的得分都为0。团队将人手记录与North上的示范共同训练，使模型既能学习不同的接触过程，也能学习目标机器手的动作。

团队固定每项任务150条机器人示范，将人类示范从0条逐步增加到1000条，观察翻页、灯泡和开关三项任务。人类示范为0、250、500、750和1000条时，翻页依次得0、6、32、59和83分；三项任务的平均分依次为0、8、29、51和84分。

从750条增加到1000条时，三项任务的平均分提高了33分，是这组测试中增幅最大的一段。

△固定每项任务150条机器人示范，比较翻页、灯泡、开关及三项平均成绩

值得一提的是， 团队还让机器人在不断变化的彩色光照下翻书。光斑改变了书页在相机中的外观，North仍借助指尖的接触反馈分出并翻过一页，展示了视觉受到干扰时触觉如何帮助机器人继续操作。

UVTA的价值，是让人手直接操作物体时留下的触觉经验，进入机器手的训练。团队对齐腕部画面、手指动作和指尖接触后，再把人手示范与North的示范共同训练，让机器手学习接触物体后的动作调整。

五项真机任务中，UVTA平均得70分，最强对照方法得29分；固定机器人示范数量后，翻页、灯泡和开关的成绩也随人手示范增加而提高。

【往期推荐】

-END-