灵巧手真进厂干活了!
在卧龙希尔工厂,机械臂带着临界点的灵巧手,从传送带上拿起待测产品,扫码、装夹,再拿起螺丝枪固定产品,操作设备完成性能测试,最后卸下螺丝,将产品放回传送带。
这套测试流程共有72步,一期验证中,机器人完成一轮约需8分30秒,人工约需8分钟,任务成功率达到98%以上。

10月29日的2026智元创新日灵巧操作分论坛上,临界点现场连线工厂,展示了这项工业POC,实现了“灵巧手造灵巧手”。
临界点CEO乔天杰谈到自己在车间看到的画面:“一双手在产线上装配着下一双手,这就是临界点的未来。”
论坛上,临界点还发布了遥操作与数据采集一体手套OmniGlove,讨论机器人如何获得人手的操作经验,以及这些数据如何用于训练灵巧操作。
灵巧手开始走进工位,数据手套则试图记录人手的动作和触觉。临界点想解决的问题,已经从手能做出多少动作,延伸到怎样教机器人完成工作,以及如何让一套能力进入更多场景。
“灵巧手造灵巧手”
卧龙希尔生产临界点的灵巧手,每只OmniHand出厂前都要经过整手性能测试,包括手指屈伸、重复定位精度、指尖力和握力等项目。
测试设备可以完成检测,但上料、装夹、拧螺丝和操作面板等步骤仍需要处理。临界点模型算法总监吴铭东介绍,工厂此前依靠人工完成这些操作,每天要测试100多只手。

此次展示的方案用一台机械臂搭配一只灵巧手,将上料、扫码、装夹、测试设备操作和下料串成完整流程。机械臂末端不需要为了拿螺丝枪、按按钮或抓取待测产品反复更换工具。
吴铭东介绍,团队选择“机械臂+灵巧手”,是希望先用较小的作业单元把一个工位做透,再计算设备投入和任务回报。
手负责抓取和操作工具,机械臂带着它到达各个作业位置,两者共同完成整套测试流程。
团队尝试过用夹爪抓螺丝枪,但螺丝拧紧时的反作用力容易让枪脱手;把螺丝枪固定在机械臂末端,又难以兼顾抓产品和操作面板。换用灵巧手后,同一只手可以在这些动作之间切换。
在吴铭东看来,部署态有两步:先让机器人完成一个工位的工作,再考虑如何更快、更便宜地推广到下一个工位。
72步测试工位正处在第一步的验证过程中,临界点计划年内推动方案并线。
现场连线还展示了对干扰的应对:工作人员推动机械臂后,机器人重新调整螺丝枪的位置;人为改变孔位、导致拧紧失败后,系统能够识别异常并重新对孔。

对孔的难度来自多处:可重复使用的防脱螺丝会在孔内晃动,螺丝枪有重量、线缆牵拉和拧紧反作用力。吴铭东介绍,枪在手中偏移1mm,枪头可能偏移3-4mm,足以影响亚毫米级的对孔操作。
在珠海长隆,临界点面对的则是商业服务中的灵巧操作。灵巧手参与猜拳、搭积木、折气球等互动,每天要面对游客和不断变化的现场环境。
乔天杰在会后群访中表示,工业场景相对规则,对节拍和可靠性要求更高;商业服务的任务可能更加多样,对部分指标的容忍度也不同。临界点希望两条路线并行,从当前能力能够覆盖的任务开始,逐步进入更复杂的场景。
这也是临界点将产品分成不同档位的原因:OmniHand 3 Lite手长140mm、重量轻至350g;OmniHand 3拥有10个主动自由度,指尖、手掌和手背配置触觉;OmniHand 3 Ultra拥有21个主动自由度,并配备全域触觉,另有触觉夹爪OmniPicker 3。

乔天杰认为,不同任务需要不同末端,夹爪和灵巧手并非「非此即彼」。他希望先用中低自由度产品进入适合的工位,同时继续提升高自由度手的可靠性;截至10月,临界点灵巧手累计下线超过1.5万台。
在产品设计上,OmniHand 3 Ultra采用仿生软体包覆,在指尖、指腹和手掌等区域覆盖柔性电子皮肤,希望让手与物体接触时有更好的包络性。OmniPicker 3则在夹指上配置触觉,面向不同重量和材质的物体调节夹持。
乔天杰介绍,临界点希望通过平台化方式复用底层能力,再围绕具体场景调整产品:打螺丝、端杯子和工业产线作业,对手的性能与成本要求并不相同。
另外,在三指和五指的选择上,乔天杰更看好五指的长期应用。他给出的理由包括人类工具通常适配五指,以及互联网视频、第一视角和手套采集到的人手数据与五指形态更接近;他也认为三指产品会在发展过程中存在。
不过,灵巧手从实验室进入工厂,首先要经受长时间使用。
临界点CTO熊坤在圆桌上说,客户对能够长期部署的手有明确需求,可靠性需要放在优先位置;灵初智能联合创始人、首席科学家杨耀东也提到,科研人员需要考虑高自由度手损坏后能否快速维修。

乔天杰在群访中谈到,真实场景会暴露实验室阶段不容易发现的问题。随着部署增加,产品需要不断迭代,同时要考虑故障带来的售后压力;临界点也将汽车Tier 1的研发经验用于产品可靠性和量产管理。
圆桌上,非夕科技副总裁陈仙勇从工业现场提出了另一项要求:多品种、小批量的生产任务经常涉及产品和流程切换,客户要一起考虑设备节拍、部署成本、学习成本和稳定性。
陈仙勇还追问:“什么操作才是有价值的?”在他看来,工业现场除了搬运等辅助工作,还有需要技术水平的作业技能;企业需要从完整系统出发,考虑怎样让这些技能既能完成任务,又具备客户可以接受的性价比。
工厂需要的是能完成工作的一套系统,手进入工位后,机器人如何获得操作经验、遇到偏差又如何调整,直接关系到这套系统能否继续工作。
为什么还要做一双手套?
论坛上,临界点发布了OmniGlove遥操作与数据采集一体手套。其中,OmniGlove Pro数采版本能够记录人的手部位置、姿态及触觉信息,再将数据用于机器人操作。

做灵巧手的企业,为什么进入数据采集环节?
熊坤在圆桌上谈到,高质量灵巧操作数据仍有需求,手套和灵巧手之间的动作映射、触觉信息关联,是团队在设计时考虑的问题。
会后群访中,乔天杰进一步解释,临界点灵巧手外部带有手套,数据手套与机器人手外层的外观、触觉分布会尽量保持一致,让采集到的人手数据更容易用于训练自家的灵巧手。
人戴手套拿杯子、使用工具时,采集的不只是手指移动的轨迹,还包括手与物体发生接触的位置和受力信息。与常见的视频采集相比,触觉能补充画面中难以直接呈现的接触状态。
选择什么样的采集设备,也会影响数据怎么获得。
临界点首席具身科学家黄碧丹在群访中比较了外骨骼和柔性手套:外骨骼依靠刚性连接与关节编码器,可以较精确地估计手部和指尖位置,部分遥操作设备还能提供触觉反馈。
但外骨骼的重量和结构会影响佩戴感受,也可能遮挡第一视角画面。临界点选择柔性手套,希望采集者能够更自然地使用双手,并将设备带进更丰富的实际操作场景。
柔性材料同样给工程设计带来了难题。手指弯曲时,织物会跟着拉伸、移动;触觉传感器需要区分来自物体的接触和手套自身的形变,定位系统也要尽可能保持稳定。

OmniGlove将EMF与IMU结合,用于追踪手部位置和动作。单只手套配置6个EMF和7个IMU,估计手部关键点、关节角度及指尖位姿;遇到磁干扰时,系统会调整不同传感信号的权重。
手套的平均定位误差为0.66mm,相比对照的行业平均水平低78%。触觉版本单手配置746个触觉点,覆盖17个区域,手指和手掌与物体接触时,可以记录对应区域的信号。

手套的触觉感知范围为0-20N,力分辨率为0.1N,空间分辨率小于3mm,单手定位与触觉数据以125赫兹输出。为了减少手指弯曲对触觉信号的影响,团队在传感区域使用半硬基底,并对关节附近的结构进行切分。

此外,手套还需要经受反复使用。乔天杰表示,触觉外层使用一段时间后可能需要更换,定位模块和触觉外层因此采用可拆分设计,外层磨损后可以单独替换。
黄碧丹认为,指尖触觉信息能够帮助处理接触操作中的末端误差。灵巧手接触物体时,手指是否碰到了目标、接触发生在哪里,都会影响下一步动作。
在群访中,她也谈到了机器人手的触觉配置:视触觉传感器能够感知较精细的接触和物体表面信息,适合用于指尖;手掌等其他接触区域则可以配置其他形式的触觉传感器,让不同部位获得接触信息。
杨耀东在圆桌上也将手、数据和模型放在一起讨论:手的形态影响数据如何采集,模型要学习的任务又会反过来影响手和采集设备的设计。
人手数据,怎么教会机器人的手?
手套采到数据之后,临界点展示了一项“真机Ready”流程:人戴手套完成操作,经过数据处理和跨本体动作重定向,机器人在相同场景条件下回放,完成对应任务。
另外,黄碧丹在群访中举了一个例子:人把桌上的杯子从A点拿起、放到B点,机器人replay时,也从同样的位置拿起杯子并放到B点。通过这样的replay,可以检查人手采集的数据经过处理后,是否能够用于机器人执行。
把人手动作转换给机器人,并不是简单复制关节角度。两只手的尺寸、关节位置和运动范围存在差别,同一个抓取目标,机器人可能需要采用与人不同的手指姿态。

会后群访中,NE时代向黄碧丹追问:动作重定向时,关节角度、指尖位置和物体最终操作效果,应该优先保留哪一个?

黄碧丹回答,这些因素都进入了优化过程,需要调整权重;对于操作任务,团队更看重物体的状态是否发生了预期变化,因此采用以物体为中心的重定向方式。
例如,将杯子从桌面拿起并放到指定位置,重点在于机器人能否完成取放。为此,机器手需要找到能够抓稳杯子、移动并放下的姿态;人手关节角度可以作为映射的参考,机器人最终还要结合自身结构,找到适合的抓取动作。
数据手套并不是行业里唯一的数据采集方式。杨耀东在圆桌中谈到,人类第一视角数据、UMI数据和机器人遥操作数据有不同的采集方式和信息内容,数据组合也需要随着模型能力与任务变化而调整。
北京智源人工智能研究院具身模型研究中心负责人王鹏伟则认为,不可能把所有物体和背景都用机器人逐一采集;互联网视频和高质量后训练数据,需要结合起来考虑。杨耀东也强调,高质量中训练、后训练数据以及更长时间的任务数据,值得行业关注。
对数据手套未来的用途,熊坤认为,更高质量的人类操作数据也有望用于预训练。杨耀东则在圆桌上强调面向具体操作任务的高质量中训练、后训练数据,并认为单次采集任务的时长还需要增加。
黄碧丹在群访中认为,提高数据质量有机会减少训练需要的数据量,但目前还无法给出准确的成本评估。对于企业而言,采集是否方便、数据能否转到目标机器人上,以及实际训练需要多少数据,都要共同考虑。
不同观点的共同问题是:模型究竟需要从人的操作中学到什么。除了看到物体和手的运动,还需要进一步理解手在哪里接触、用什么力度,以及动作对物体产生了什么影响。
灵巧操作,算法如何应对接触?
黄碧丹在演讲中展示过一组实验,团队将GPT-6接入机器人,提供机器人配置、标定信息和多次提示后,机器人完成了盒子操作;当任务换成用镊子夹豆,机器人在拿起镊子时遇到了困难。
使用镊子需要手指先抓住工具,再调整姿态和开合,镊尖接触豆子后也要控制动作。物体很小,手与工具的接触稍有变化,就可能影响后续操作。
黄碧丹认为,“AI大模型还不能把握物理世界”,要让机器人完成实际操作,还需要解决动作执行和物理接触中的问题。

另一项考验则发生在机器人运动会现场。黄碧丹介绍,赛场灯光杂乱、人员走动,部署时间有限,为了兼顾速度和成功率,团队采用小模型反复迭代和现场工程调优,完成了比赛任务。
她认为,这种做法可以针对特定场景解决问题,但现场调试经验如何更快地复用到其他环境,仍是部署中需要面对的难题。比赛能完成的动作,换到客户现场后,还需要满足不同的节拍和稳定性要求。
临界点的DUET 2.0将灵巧操作分为宏观操作层和微观接触层:操作层负责动作顺序和运动生成,接触层结合触觉信息处理接触和施力,两层可以根据任务配合使用。

两层耦合时,上层给出操作意图和目标,下层将接触信息反馈回来,帮助系统调整。黄碧丹还是用抓取杯子举例:当目标姿态或路径存在偏差时,接触层可以根据触觉信息修正动作,帮助机器人拿稳杯子。
两层也可以分别使用。面对接触较少的任务,上层侧重运动生成;需要细致控制接触时,下层则利用触觉调整施力,承担更直接的操作控制。
黄碧丹用一句话概括这套架构的特点:“合,则全局协同;分,则各显神通。”
折气球需要机器人连续调整气球的位置和形状,既要按照顺序完成一系列动作,也要在接触柔软物体时控制手指。临界点将这项能力带到了珠海长隆的商业服务场景,也在论坛现场展示。
会后群访中,有媒体问乔天杰:临界点既做灵巧手,又做数据和模型,未来是否要向灵巧操作解决方案延伸?

乔天杰的回答是,灵巧手需要软硬件一体设计。通过研发操作算法,团队可以发现硬件在具体任务中的需求,再反过来调整手的设计;临界点也希望把与手相关的算法能力提供给整机企业。
在他的设想中,临界点聚焦灵巧操作所需的手部软硬件,机器人运动、交互等整机能力由相应团队处理。手和算法一起迭代,也有助于客户把灵巧手接入自己的系统。
除算法之外,黄碧丹还介绍了Omni-Symphony部署框架。针对现场光线和地面等条件,系统需要调整运行参数;针对不同的手和臂,则通过统一接口、通信协议及工具链减少接入工作。

部署过程中出现失败或人工干预,系统还会记录相关情况,再用于后续模型改进。黄碧丹希望把现场处理过的问题积累为工程经验,让下一次部署能够复用。
王鹏伟在圆桌上提出,高层规划之外,底层操作模型适应不同物体和场景的能力仍是难点。如果每换一个任务都要重新投入大量时间,部署到更多现场的成本就难以降低;他也希望开发者能够通过接口使用模型,更方便地把能力带入新场景。
吴铭东在群访中也谈到,大模型的视觉理解和高层规划能力可以提供帮助,而机器人底层操作还需要满足较高频率的控制要求。他希望未来面向操作的模型能在保持实时性的同时,提高对光照、背景等变化的适应能力。

实际任务中,决定动作能否完成的变化可能很小:一颗螺丝在孔里晃动,或者工作人员移动了工装,机器人都要重新调整,而卧龙工位把这些问题放到了螺丝枪对孔上。
从一个工位走向更多工位
在卧龙工位,人工遥操作螺丝枪对孔时,操作员主要依靠画面寻找孔位,枪头可能反复试探、退回,再重新靠近。
吴铭东在演讲中说:“模仿学习学的是动作,强化学习优化的是结果。”针对这个工位,临界点采用真机强化学习,让机器人在实际操作中优化对孔动作;演示中,优化后的对孔节拍比遥操作快4倍以上。

吴铭东解释,遥操作采集的数据会记录寻找孔位和反复修正的过程。真机强化学习围绕对孔结果继续优化,让机器人在该任务中学会更直接的动作。
动作完成得快,还要能发现什么时候没有做好。临界点开发的工业智能体Omni-Maestro结合视觉、力矩、测距和设备反馈判断工序状态,再由系统决定继续、重试或回到之前的步骤。
吴铭东将现场演示分成两类能力:螺丝枪受到外力后重新对准,依靠动作策略在执行过程中纠偏;螺丝没有拧到位后发现并补救,则需要系统判断失败、安排后续步骤。
吴铭东展示过一次较长的回溯:系统误判螺丝已经卸下,机器人取手时发现受阻,于是返回卸螺丝步骤。对于一套72步的工作流程,系统需要知道每一步是否完成,才能安排后续动作。

灵巧操作的算法选择也会随任务改变。NE时代在群访中询问,工业任务中如何决定哪些环节使用学习策略、哪些环节继续采用确定性规划。
黄碧丹以此前的积木任务为例:团队分别测试后,在物体感知环节选择数据驱动模型,以获得更好的光照适应性和识别准确度;路径规划则选择较稳定的离线方案,并接受在线环境适应性方面的取舍。
她强调,具体方案要结合现场测试和任务要求决定,视觉、规划、动作执行和工位设备如何配合,都要放进实际任务中检验。
从一个工位推广到更多场景,还需要与机械臂企业、集成商合作。乔天杰在群访中表示,临界点会把与手相关的能力做成便于调用的模块,合作伙伴再结合机械臂和具体需求,完成不同工位的集成。
吴铭东还提出,客户需要完成的是一整个班次的工作。灵巧手如果能在不同项目中承担相近的操作,企业也有机会把此前积累的数据用于后续任务,而不是每到一个工位都从头准备。
乔天杰在演讲中提出,灵巧操作进入部署态后,要看“节拍、成功率、稳定性和ROI”。一项技术能否成为客户愿意购买的生产力工具,还要看它在规定时间内能完成多少工作、出现故障后如何恢复,以及投入能否收回。

这也呼应了王鹏伟的判断:机器人学会一个任务固然重要,换到下一个工位,需要多少数据、多长训练时间和多少部署投入,同样值得衡量。
乔天杰介绍,部分工业客户希望提高自动化水平,也有客户面临高温、超净或其他不适合人员长时间工作的环境。面对不同需求,临界点会优先选择能力能够覆盖、并有机会在后续场景复用的任务,例如打螺丝等,再与合作伙伴推广。
杨耀东提出,灵巧手还需要更清楚的评测方式,比较模型学习新任务的成本和速度。他认为,新任务的学习成本能否随着能力积累而下降,是衡量灵巧操作发展的一项重要指标。
对于灵巧手的价格,乔天杰预计未来一至两年可能下降一个数量级。他认为,产品设计和制造工艺的改进需要一定规模作为基础,灵巧手进入更多工业和商业场景后,订单规模才能带动供应链进一步降本。
乔天杰将灵巧操作的发展分为“开发态”和“部署态”:前者回答产品和能力能否做出来,后者则要让产品在真实场景运行,从第一个客户工位走向更多工位。他判断,2026-2027年将是行业进入部署态的重要阶段。
在乔天杰看来,除了针对不同工位提供产品,万台级生产也有助于稳定供应链、改善良率并降低成本。
长隆和卧龙分别提供了商业服务与工业场景的实践,乔天杰希望将现场作业中产生的数据回流训练,改进模型后再进入更多场景,让部署经验能够持续积累。
灵巧手能在卧龙工厂参与测试,也能在长隆与游客互动,下一步要面对的,是如何把已经积累的能力带到新的工位。
正如王鹏伟关注的那样,学习新任务需要多长时间、花多少成本,将直接影响这些手走向更多场景的速度。



沪公网安备31010702008139