◎ 灵巧手的潜力，算法还没用足。

△ 撰文：董志洋

同一款灵巧手，预赛5分钟只搭起7块积木，一周后用2分07秒搭完20块、拿下冠军。临界点在这期间没有更换硬件，改动的是感知、规划与抓取算法。

最近，在上海举行的ROSCon China 2026上，临界点首席科学家黄碧丹从OmniHand的夺金实践谈起，复盘了这次逆转，同时分享了 灵巧操作的算法边界在哪里？

“绝大部分硬件的性能天花板，并没有被算法释放出来。”她给出的解释，涉及相机怎样识别积木、机械臂沿什么路径运动，以及手指怎样抓取和释放物体。

这次比赛，临界点使用量产型OmniHand 3搭配消费级相机，它拥有16个自由度，其中10个主动、6个被动。临界点团队经过两个多月准备，在第二届世界人形机器人运动会灵巧手专项赛获 得7金4银3铜。

黄碧丹讨论的，是怎样把灵巧手已有的运动和感知能力用于具体操作。她分享的三个案例，讲到了感知误差怎样修正、抓握姿态怎样保持，以及人手动作怎样转换为机器人能够执行的指令。

抓稳了，才能提速

积木搭建要求机器人从桌面抓取积木，按规则搭成五层积木塔。抓取或放置的误差超过2mm，就可能让积木塔在后续搭建中倒塌。

团队选择了经典的感知、规划和控制方案，先调整相机的位置与朝向，再优化积木检测与位姿估计。

每轮调整后，团队评估定位的绝对精度与重复精度，根据结果继续调整机位和识别算法，最终将单图定位误差控制在1毫米以内。

物料位置确定后，团队依据一开始的全局检测结果，规划后续取料与叠放动作。积木从哪里拿、以什么姿态拿起、最后放到哪里，都被安排进标准化流程。

团队为直立积木、平放积木和底层积木分别设计了操作流程。

放置直立积木时，机器人先调整姿态，再靠近目标并垂直下落；平放积木则需要水平转动，再斜向放置。

对于底层积木，机器人还会推动、成组搬运并合拢，减少逐块独立抓取的次数。

提速还要优化整条路径上的动作衔接。团队将抓取位姿、途中路径点和放置位姿连起来，规划连续的运动速度，再提高整条路径的执行速度。

如果机械臂在多个路径点反复减速、停顿，即使某一段移动很快，整次取放仍会耗时。让机械臂连续经过这些路径点，可以减少动作衔接中的停顿。

但机械臂加速之前，手里那块积木必须抓稳。临界点采用三指抓取，减少积木在移动过程中的滑动和姿态变化，让机械臂能够以更高速度运送积木。

团队依据初始检测结果规划后续动作，如果积木在手指间发生偏移，机械臂到达目标位置时，积木也会偏离预期姿态。稳定抓握让积木在加速搬运中保持原有姿态，为提高运动速度创造了条件。

此外，放下积木同样需要控制。三根手指先同步减小夹持力，在保持接触时稳定积木，再匀速张开，减少某根手指提前离开产生的横向推力；临界点也通过固件优化响应速度和多指同步性。

夹豆，换了四套策略

镊子夹豆赛项的难题，来自规则和现场条件的变化。机器人需要在5分钟内，用镊子将黄色碗中的豆子夹入绿色碗，赛前规则却从允许一次夹取多颗，改为每次只能一颗，多夹会导致成绩无效。

豆子的数量也变了，训练时满满的一碗豆子，到了预赛现场只剩碗底薄薄一层，原有策略只夹到了3颗。镊子也从左侧移到了中间，机器人按原来的动作抓取时出现偏差，团队需要重新识别镊子位置、调整抓取。

团队先把视觉工作拆成“找工具”和“数豆子”，用SAM 3分割出镊子所在区域，缩小后续识别范围，再由YOLO26s-seg分割其中的豆子并计数 。采用分割区域计数，也能减少小目标检测框重叠带来的干扰。

这样，机器人能够检查每次夹起几颗豆子，发现多颗时放弃该次操作。团队还在现场反复采集图像数据，提高相关识别的准确性。

知道夹了几颗以后，还要决定下一次去哪里夹。围绕这个问题，团队先后尝试了固定点、多点或随机、视觉热力图和螺旋覆盖四套策略。

固定点的做法是在预设位置反复夹取，满碗条件下能夹70多颗，薄层条件下却只有3颗。豆子减少后，原来容易夹到目标的位置不断落空，机械臂仍在执行相同动作。

多点或随机方案扩大了搜索范围，在满碗测试中可超过100颗，但面对薄层豆子，成绩仍低于30颗。团队随后开发视觉热力图，识别哪里豆子更密集，再优先到对应区域夹取。

热力图方案的测试结果在10-70颗之间波动。黄碧丹解释，这套方案依赖视觉输入，而团队开发、调试的时间很短，有时能夹很多、有时只能夹到很少，难以应对赛场上只有一次机会的情况。

最后采用的螺旋覆盖，从碗中心开始向外扩展夹取轨迹。机器人沿着明确的路径持续搜索，多次测试能够稳定夹取70颗以上，最终在决赛中完成70颗并夺冠。

这套方案把搜索和检查分开处理：机器人沿螺旋轨迹选择夹取位置，视觉检查夹起的豆子数量，灵巧手控制镊子的开合。团队由此保留了数量判断，又能沿固定路径覆盖碗中的不同位置。

黄碧丹在复盘时还强调，握住镊子的方式会影响后面的操作。 镊子握持不稳，手指就难以准确控制开合，再好的搜索位置也难以转化为有效夹取。

黄碧丹认为，算法边界由任务、硬件与环境共同决定。在这次比赛中，规则、物料分布、工具位置和开发时间，都影响了最终方案的选择。

把人手动作变成可执行指令

在数据采集和遥操作中，算法还要处理人手动作怎样映射到机器人手的问题。黄碧丹分享的第三个案例，是面向OmniHand 3的重定向方案。

人手与机器人手的关节结构、尺寸和运动范围存在差别，同样的关节弯曲角度，不一定让两者的指尖到达相同位置。对于拇指与其他手指对捏一类动作，指尖能否对齐，会直接影响操作。

一种方法是根据指尖目标位置，通过逆运动学求解关节角度。临界点指出，这种方法需要迭代计算，还可能得到不同关节解，造成手势不自然；另一种方法直接映射对应关节，计算快，却较难同时满足指尖在空间中的位置要求。

临界点把关节跟踪和指尖跟踪一起放进训练。人手动作数据进入神经网络，由网络输出目标灵巧手的关节角度，训练时同时用关节信息和指尖在三维空间中的位置约束输出。

关节跟踪约束手指怎样弯曲，指尖跟踪则要求弯曲后的指尖到达目标位置。例如，拇指与食指需要捏合时，模型既要生成机器人手能够执行的关节动作，也要让两个指尖在空间中对齐。

黄碧丹强调，模型训练时就要考虑手的实际运动能力，理解硬件特性，再用算法发挥这些能力。模型完成训练后，通过网络映射输出关节角度，省去了在线迭代求解逆运动学的过程。

硬件的响应是否一致，也会影响已经调好的动作。同型号产品如果在关节响应、接触特性上出现较大变化，原有动作就可能需要重新适配。

在临界点的DUET架构中，动作重定向连接人类示范与后续策略学习，将人的操作动作转换成机器人手的训练信息。接下来，机器人还要学习每次接触时怎样施力。

连续操作，还要学会用力

介绍完围绕具体项目调优的方法后，黄碧丹展示了临界点主要研究路线DUET，即双层具身接触智能架构，并播放双手拧气球狗的演示。

气球会形变，也容易滑动或被捏破，机器人需要连续完成握持、旋转和换手，既要抓牢气球完成拧转，也要控制接触力，避免将其捏破。OmniHand 3的300多个触觉单元分布在指尖、掌心和手背，为操作提供接触反馈。

DUET把这些工作分到操作层与接触层。

操作层先从人类示范出发，经动作重定向得到训练信息，形成初始策略，再记录真实执行中的人工干预，将示范与干预数据用于强化学习，继续优化动作策略。

接触层从接触数据学习策略，再经过强化学习训练，部署到真实场景。执行时，操作层给出目标姿态，接触层根据触觉信息控制接触与施力，并向操作层反馈接触状态，两层共同完成连续操作。

临界点CTO熊坤此前接受NE时代交流时，对两层的分工有过直接解释：“第一层回答的是，应该用什么样的动作序列去完成一个任务；第二层回答的是，应该用多大的力量去完成每一次接触和抓取。”

他还介绍，操作层使用人类任务示范和遥操作动作序列，接触层关注人手操作时的力量，以及机器人自身触觉传感器记录的接触信息。两类数据分别描述动作怎样连续进行、接触时怎样施力。

对拧气球这样的连续操作，动作记录与接触记录需要相互配合。气球形变、双手接触位置变化时，机器人既要继续完成后续动作，也要根据接触反馈调整握持力。

黄碧丹在演讲中介绍，临界点灵巧手累计出货已超过2万只，实际场景中的累计部署时长超过5万小时。公司还通过Project Eureka面向开发者提供资料、课程实训、技术挑战赛、Demo共创与产学研合作机会，已有学生团队开发出手指舞等演示。

10月29日智元创新日，临界点将发布OmniHand灵巧手挑战赛及新数采手套，挑战方向包括精密插接、工具使用和多步骤复杂操作。手套可跟踪手部姿态，并利用全手视触觉传感记录接触位置和接触力，为数据采集和操作验证提供工具。

此前，临界点已向开发团队提供SDK和控制接口，并提出将操作能力沉淀为原子技能库。开发者可以通过这些接口控制硬件，再针对任务开发和验证操作策略。

临界点的开发支持，正在从硬件控制延伸到操作技能的训练与验证。新手套把人手姿态、接触位置和接触力一同记录下来，让开发者在示范动作时，也能留下怎样抓稳、怎样施力的操作经验。

-END-