舞肌:模型越强,“手”越不能将就

◎ 舞肌,给大模型造一双手。

△ 撰文:董志洋

英伟达的参考人形机器人,用上了舞肌的手。

10月21日,英伟达与思灵机器人推出Agile ONE SN,搭配两只20自由度舞肌灵巧手,并将示范采集、仿真、模型训练和真机测试纳入同一套研发流程。

截至今年10月,舞肌对外披露的客户已达全球数百家,累计交付数千只灵巧手。最近的机器人学习研究中,它的手与手套又出现在抓取、转笔、工具使用和人类示范采集等实验里。

舞肌科技创始人、CEO潘韫哲对模型的期待很高。在公开对谈中,他说:“我是信仰大模型可以解决一切的。” 他期待统一模型学会从躯干、手臂到手指的协同操作,团队则把研发投入放到了电机、传动、灵巧手和数据采集工具上。

相信模型会变强,反而让舞肌更重视模型用得上的硬件。人的示范怎样变成训练数据,模型发出的指令能否让手指完成接触和操作,仍需要设备、控制与软件配合。舞肌想做的,是让更多模型团队能够使用这些能力。

▎把电机缩进人手的尺寸里

潘韫哲最早尝试做灵巧手,是在2018年。那时他刚从美国伊利诺伊大学香槟分校毕业,学的是计算机与化学,回国后在家折腾机器人。他试过用腱绳和气缸做手,效果不理想,项目暂时搁下。

2019年成立舞肌时,他想做的是运动能力更强的腿足机器人。驱动能力成了绕不过去的问题:电机要提供足够的力和速度,又不能太重。潘韫哲开始系统学习电机,从教材、电磁建模和有限元仿真入手,再做样机、处理工艺和制造。

他在交流中回忆,早期一批电机需要自己动手制造;到2022年前后,团队才逐渐进入小规模生产。电机、传动与制造经验,后来都用到了灵巧手上。

电磁仿真算出的性能,要经过材料、加工、绕线和装配才能变成实物。驱动装置做得更小以后,研发者还得在有限空间里保持装配一致性,才能让不同批次产品有接近的表现。

潘韫哲并不满足于一直做电机。明势创投创始合伙人黄明明回忆,最初见面谈机器人时,潘表达过自己一直想做机器人的愿望。2023年末,舞肌转向灵巧手。

这次选择有几层考虑。现有产品与潘韫哲的预期有差距,机器人操作研究需要更好用的设备;相比继续做电机,灵巧手也更容易吸引他希望招到的人。他开始判断,过去积累的驱动能力,能否做成一只完整的手。

第一项验证很具体:量一量手指里有多少空间,估算电机缩小后还能输出多少力,再结合传动速比计算速度和出力。这个早期可行性判断只花了半天到一天,随后才有团队投入、结构设计和一轮轮样机。

尺寸接近人手,是舞肌让机器人学习人类操作的一项设计选择。如果手指过粗、关节活动范围差别太大,研发者就需要调整抓法,才能让机器人拿住同一件工具。把驱动放进去,还要给手指留出合适的运动和接触空间。

△ 一代Wuji Hand

潘韫哲选择把驱动集成进手部。按照他的解释,如果驱动装置大量放在前臂,灵巧手与机械臂的设计、安装就会更紧密地绑在一起;独立手部则方便客户连接已有机械臂。团队也希望减少长距离传动带来的形变、摩擦与维护负担。

手内集成的代价是更紧的空间和散热约束。手指里要容纳电机、传动、关节与线缆,外面还要留出适合抓握的形状。驱动装置的尺寸、效率和装配精度,都会影响整只手的重量与动作。

2024年10月,团队迁往深圳时约有13人。第一款对外产品在内部经历五版迭代,于2025年秋推出。这款手采用自锁关节,手指无法顺着外力反向运动。

▎一代手发布了,架构却要重做

首代手采用不可反驱的关节。谈到这一选择,潘韫哲在创业纪录片里直言: “我觉得这是一个巨大的错误。” 到2025年底,他决定优先推进二代架构,减少在旧架构上继续修补。

反驱可以从一个动作理解:用外力推动手指,外力能不能经过传动机构反过来带动电机。自锁结构能够保持姿态,但机器人接触物体时,如果希望关节顺着外力让一让,机械结构与控制系统就得允许这种响应。

二代手增加了可反驱特性,也提供MIT力位混合控制。开发者可以设置目标位置、速度,以及关节偏离目标时的刚度和阻尼,再叠加电流前馈,调整手指保持姿态与顺应外力的程度。

模型团队关心的也包括这种接触响应。手指握住螺丝刀后,需要轮流推动、松开和重新接住;如果指令与实际动作之间的关系不稳定,研究者就得花更多时间调试和标定。

舞肌将电机与减速传动集成在关节内部,采用旋转驱动方案。潘韫哲曾解释电机、减速器的组合与速比取舍,试图在手指的有限空间里兼顾出力、速度和可控性。

减速器可以放大驱动力矩,也会改变关节的动态响应。电机转子的惯量折算到关节端时,会乘以减速比的平方;较高的减速比还会影响关节速度与反驱表现。研发者需要把这些因素和摩擦损耗一起考虑,才能选择适合接触操作的驱动组合。

Wuji Hand 2.2 Beta有20个主动自由度,每根手指四个,支持拇指对指与手指侧摆,参考尺寸为180×80×40毫米。含软体和输出线缆、不含底座的整备质量约800克,20轴控制频率为1000Hz,通过以太网连接。

△ Wuji Hand 2

主动自由度对应可独立驱动的运动方向。研发者可以调整某根手指的弯曲或侧摆,让它与其他手指配合完成抓握和换指;模型也需要学习这些关节在接触物体时怎样协同。

潘韫哲解释自由度选择时,提到团队会用手的模型摆动作:缺少某个运动方向,一些抓法就不自然,甚至做不出来。最终取舍既考虑操作,也考虑工程复杂度。对于负载,他更看重满足轻载精细操作,没有把追求更大的抓握重量作为设计主线。

二代手还分为骨骼、软体、皮肤三层。骨骼承担结构与运动,外层材料提供抓握接触和保护;2.2 Beta非触觉版的皮肤本身没有传感能力。团队需要同时处理关节运动与接触材料,才能让模型在真实物体上执行动作。

接触材料会影响贴合、摩擦和形变,仿真也需要考虑这些因素。只根据刚性表面训练的策略,遇到不同材料时,抓握响应可能发生变化。

舞肌当前提供的仿真资产包含指尖软体的外形,以刚体方式参与接触,尚不模拟软体形变。研发者可以先用这些资产训练和测试,再通过真机校正接触差异。

外力能推动关节,为顺应接触提供了条件;要控制与物体之间的力,还需要知道驱动输出和传动损耗。电机电流可以参与力矩估算,结果会受摩擦、损耗和标定误差影响。

舞肌在2.2 Beta阶段仍在验证电流力矩估算的一致性,并继续迭代软体和温升表现。潘韫哲讨论过的热管理办法,包括提高系统效率、改善传热,再利用手掌或手腕更大的面积散热。

团队还会通过系统辨识测量关节的动态响应和跟随情况,校准模拟参数。潘韫哲回忆,适合仿真迁移是在研发中逐渐发现、随后强化的方向,并非最早做手时就已经想清楚的全部设计理由。

康奈尔大学与亚马逊FAR的REGRIND研究,把这种迁移放进了工具操作实验。研究者从一次人类示范中提取手与工具的交互关系,在仿真中训练强化学习策略,再部署到真机,并用动作捕捉提供物体状态。

在采用不可反驱关节的舞肌手上,螺丝刀任务10次测试成功9次,剪刀任务却是10次均未成功。研究者认为,剪刀几何模型不准确,以及该配置下不可反驱电机带来的仿真差异,可能影响了迁移。

容易建模的关节可以减少一部分训练困难,工具形状和真实接触仍会改变任务结果。同一套手执行不同操作时,研发者需要分别检查这些差异;首代架构留下的问题,也会影响研究者能够验证哪些方法。

△ REGRIND螺丝刀操作;该配置使用动捕物体状态,螺丝刀任务成功9/10,剪刀任务0/10。

▎做灵巧手,也要解决人的数据从哪来

潘韫哲把灵巧操作的数据不足,进一步追到了采集设备上。他希望人在真实工作中直接完成操作,传感器尽量轻、尽量少干扰动作,再把记录交给机器人学习。2026年初,舞肌推出Wuji Glove数据手套。

拧瓶盖时,视频能记录手怎样靠近瓶子、手指怎样转动,却很难仅凭画面量出各处接触压力。人手与物体贴合后,摄像头还会失去一部分视野。采集设备需要把姿态、接触和画面对齐,才能记录完整的操作过程。

Wuji Glove在五个指尖各放置一个电磁追踪接收模块,记录位置和朝向,手背另有一个六轴惯性测量单元,即IMU。指尖追踪提供每个模块的六自由度信息,动作数据以120Hz输出,IMU采样为800Hz。

手套的位置精度为不超过2毫米RMS,姿态精度小于5度RMS。掌侧触觉阵列有526个有效触点,以120Hz记录接触分布,力测量范围0至20牛,力分辨率0.1牛、空间分辨率4毫米。

本体净重67.5克,含线缆为192.6克。人员使用前需要完成手型与触觉标定,采集时还要处理电磁追踪对金属环境的敏感性,舞肌建议与金属保持至少3厘米距离。

这些设计影响的是不同环节:指尖位置和朝向帮助还原动作,接触分布记录哪里承受压力,重量与佩戴方式则影响人员能否长时间自然操作。模型团队最终得到的数据量,也取决于采集过程是否方便。

△ EgoForce项目中的人类操作与同步触觉记录。

潘韫哲还强调,手套与灵巧手要一起设计。两者尺寸与构型越接近,人的动作转成机器人指令时,需要补偿的差异就可能越少。他期待的统一模型,要能学习从躯干、手臂到手指的协同操作。

结构接近之后,研发者还得处理接触差异。人手与灵巧手即使摆出相似姿态,也可能碰到物体的不同位置。动作重定向需要把人的示范转换为目标手能执行的动作,并尽量保留原来的接触关系。

清华MARS Lab的TopoRetarget把手与物体之间的交互关系表示成图,在优化中考虑方向、运动范围和避免穿透等约束,再以转换后的动作作为参考训练强化学习策略。相较基线平均水平,其接触误差降低55%、最大穿透深度降低92%,并在舞肌真机上验证了转笔和方块重定向。

△ TopoRetarget对不同方法的接触关系进行比较。

△ TopoRetarget的舞肌真机转笔验证

AnyDexRT面向实时遥操作,用自监督学习建立指尖对应,再以少量人类引导和捏合状态判断改善映射。研究者用Manus手套控制舞肌手,在四项真实任务中比较遥操作表现。

人体动作采得准,和灵巧手执行得对,是接连要完成的工作。接触位置、关节范围和手指长度,会影响示范转换后还能保留多少原来的操作方式。

对采集形态,潘韫哲更看重轻便设备大规模使用的潜力,把外骨骼视为补充微调或训练数据的途径。研究者也在测试另一种取舍:使用更强的机械约束,让人和机器人共享接触接口。

SEED-UMI让人和机器人使用同一套20自由度外骨骼,统一外部接触形状与相机位置。系统先探索关节运动,再用人类动作和机器人回放的配对数据修正映射。在五项任务、三种策略的测试中,配对修正让平均成功率从57.3%提高到70%。

△ SEED-UMI让人和机器人使用同一套外骨骼。

耳机入盒任务提供了采集效率的对照:同一操作者在各30分钟窗口内,使用SEED-UMI得到52条成功示范,遥操作得到18条。计时不包含一次性的配对校准,研究者比较的是设备准备完成后的示范采集。

△ SEED-UMI同一研究中的成功率与示范采集效率。

外骨骼在这项实验里的作用,是让采集者直接接触物体,同时保留便于机器人复现的机械接口。轻便程度和映射难度需要一起考虑,模型团队可以根据任务选择设备。

△ SEED-UMI利用配对数据校正人类动作与机器人回放。

人类采集与机器人执行,也可以使用不同品牌。FACT研究用Wuji Glove记录人的动作和接触力,机器人执行端是双臂平台搭配Sharpa Wave灵巧手。针对每项评测任务,研究者用90条人类示范与10条机器人示范微调预训练模型。

FACT先从视觉信息规划粗略动作,再联合预测未来接触力与动作,对操作进行细化。在开试管盖任务中,FACT成功率为80%,采用同一批微调数据的T-Rex为20%。它还测试了其他接触任务,包括工具操作、乐器演奏和精密实验室操作。

这个结果让手套的用途超出了与自家灵巧手配套:经过数据转换和模型训练,人类的接触示范可以参与另一种灵巧手的操作学习。采集工具与执行硬件之间,也因此出现了更多组合方式。

除了用手套采集示范,舞肌也在尝试直接从视频中提取动作。它开源MINT与EgoPipeline,从第一视角视频中重建相机和双手的三维运动,配套结构化标注覆盖1021小时、约56万段视频片段。

过去,这类视频需要经过相机标定、深度估计、相机追踪和手部重建,再清洗轨迹。MINT把相机与双手运动估计放进同一个模型,输出世界坐标系下的三维运动,并提供向舞肌手动作转换的支持。它提取运动信息,手套则能补充实测接触信息。

第一视角拍摄时,相机往往随人一起移动。把手在画面中的位移转换成真实空间轨迹,需要同时估计相机运动,否则相机转动造成的画面变化也可能被算进手的动作中。

△ MINT从第一视角视频中重建相机与双手的三维运动。

潘韫哲对感知还有一个长期设想:让接触传感器集中到手套外层,人和灵巧手都能佩戴,本体保留驱动和执行能力。机器人也可以戴上感知手套,让外层传感器记录接触状态,这延续了手与手套共同设计的思路。

△ 视频重建、数据手套与共享外骨骼,提供不同的人类示范采集方式。

▎一只手,接入多种模型与机器人

模型团队拿到灵巧手,还得完成设备连接、关节控制、状态读取与标定,再把仿真里的动作接到真机。每个实验室都从头搭这些环节,会挤占训练和验证模型的时间。

舞肌提供Python与C接口,支持发现设备、读取状态和下发指令,配套命令行工具用于标定、诊断与数据查看。已有的ROS 2接入方案服务整机连接,MuJoCo、Isaac Sim等仿真资产用于训练测试,手套遥操作链路则提供示范入口。

潘韫哲给算法投入确定了用途:公司会训练一些模型,跑通使用流程、检验硬件并帮助客户开发,但当时没有资源投入前沿大模型训练。他希望模型公司拿这些设备做出成果,舞肌继续服务客户。

在另一段对谈中,他比较过数字AI与物理AI的配套条件:前者已经有数据、基准、训练和部署工具,机器人研发还需补上许多基础环节。

模型方法可以不同,设备接入、数据记录和真机测试的工作却会反复出现。舞肌把工具做在这些环节上,让研究者更容易把手放进自己的系统。

抓取研究提供了一种检验。T(R,O) Grasp++用图扩散模型,根据手、物体与环境之间的关系生成抓取,经过针对手型的单视角数据微调后,在40多种真实物体、每种约十次测试中,舞肌手的成功率为82.1%。

抓住以后,视觉还可能受到遮挡。ProxiDex从交互点云提取近距离几何信息,再结合机器人的动作预测交互状态的变化,帮助策略在遮挡时继续判断,并用舞肌手测试接触密集任务。

△ ProxiDex利用近距离几何信息与动作预测交互状态。

在接触信息上,日冕机器人的PalmDex、HandTouch与HT-Bench研究双手全掌触觉数据,以及视觉和全手触觉表征。研究者关注的,是如何让模型理解操作中的接触过程,并把它用于精细控制。

跨不同本体利用经验是另一项工作。HUG把百万帧以上人类抓取数据用于机器人学习,舞肌手是其真机验证平台之一;日冕的UniDexTok探索人手与不同机器人灵巧手的统一状态表达,Generalist的GEN-1则用Wuji Hand等执行硬件探索多末端适配。

这些方法会向硬件提出不同要求。视觉生成抓取、接触反馈、跨手型控制各需要相应的输入和接口,供应商得把驱动、传感与开发工具接到研究者的训练流程中。

模型团队的需求也会延伸到专有硬件。Genesis AI为GENE-26.5配套专有灵巧手,舞肌参与制造合作,机器人演示了食材处理、工具使用和实验室操作。模型团队可以围绕自己的系统设计硬件,由供应商参与实现。

使用现有灵巧手的模型,也在扩展任务。自变量WALL-B经过少量任务数据微调,驱动Wuji Hand剪纸、拧螺丝。LiberAI的早午餐演示让手连续完成抓握、搅拌和倾倒,并展示部分失误后的调整与重试。

△ 自变量WALL-B驱动舞肌手完成工具操作。

OpenWAM把世界预测与动作生成一起训练,舞肌提供算力和灵巧手支持,真机任务涉及瓶盖、衣物与玩具。PetalDex则把手用于花瓣画创作,测试薄柔物体取放与人机协作,机器人还要对人的介入作出响应。

单个动作延长为连续工作之后,模型需要处理步骤衔接、失误恢复和物体变化,灵巧手则要配合不同抓法与接触。模型和硬件共同完成演示,实验中的问题也会回到双方的研发中。

一项完整操作还包含手臂怎样靠近物体、手腕怎样调整朝向,以及躯干是否需要移动。只记录手指弯曲,无法保留这些配合;训练全身协同策略时,研究者需要同步记录各部分动作与视觉信息。

舞肌与德塔智能的合作,计划制定全身协同灵巧操作的数据标准与训练基线,把手、手臂、躯干和视觉信息一起记录。双方希望统一格式、标注和质量要求,减少后续模型训练与设备适配中的重复投入。

训练和验证也需要真实交互数据。舞肌与逆矩阵合作探索动作、接触及物理状态预测怎样进入世界模型;与光轮智能的合作,则结合实机采集、仿真数据与评测,面向真实执行持续校准。

整机平台进一步组合了这些环节。Agile ONE SN采用31自由度机身与Jetson Thor计算平台,预配置GR00T 1.7,以及采集、仿真、训练、评估和部署工具,计划2027年初提供。开发者可以用整套流程,也可以将部分组件接入自己的系统。

宇树G1展示了另一套整机接入:搭载Wuji Hand 2,用毛笔写“福”字。

舞肌与深度机智参与的灵巧操作赛事,则让同一套手应对镊子夹豆、粉末称量、工具装配和线缆连接等任务,两支参赛队分别取得八项、七项预赛晋级资格。

深度机智没有为每项任务更换专用末端,需要让手在捏取、旋拧、插接等动作之间切换。

当不同团队把手用于不同任务,供应商也要面对更多使用方式。同一个关节可能长时间保持抓握,也可能不断改变方向、反复接触物体。客户因此还要检验,灵巧手能否长时间稳定工作。

▎可靠性,要从设计阶段开始

舞肌的创业纪录片记录过展会筹备中的催交付与调试。客户开始等待产品时,团队要同时解决样机、制造和交付问题;从迁深圳时约13人,到2026年纪录片中的接近400人,组织也扩大了许多。

潘韫哲把可靠性称作灵巧手的“holy Grail”,也就是圣杯。他的解释落在工况上:同一只手换一种抓法,承受主要负载的关节与结构可能不同,一个姿势下测出的耐久性,难以覆盖另一种操作。

提起重物、快速开合、反复调整指尖接触,对电机、传动和线缆的要求各不相同。静态抓握与空载循环分别测试承载和重复运动,整只手的耐久性还需要结合更多操作验证。

潘韫哲反思,可靠性部门应该在产品设计阶段建立并深度介入。设计评审要考虑过去的失效点,采购与制造要控制一致性,出货后还得收集客户反馈。 质量工作需要从设计一直做到客户使用现场。

对模型客户而言,硬件故障还会打断实验。示范采到一半或真机测试正在进行时,团队可能得停下来换件、重新标定;恢复后的设备是否与此前一致,又会影响数据和实验能否继续比较。

舞肌二代采用可更换的外层材料,并提供诊断、日志和维护工具。当前2.2 Beta仍在迭代软体、热管理与部分控制表现,客户使用中的反馈也需要回到研发和制造环节。

产品持续迭代时,团队还要协调研发进度、交付安排与资金投入。明势在2023年首次投资舞肌,之后持续加注,黄明明也谈过投资团队对投入与产品节奏的分歧。纪录片里的团队赶工与资金紧张回忆,记录了产品迭代同时面临的经营压力。

潘韫哲在长篇对谈中反思过扩张速度与管理。过去自己制造一批电机的经验,到了数百人团队,还要进一步变成采购、制造、研发和客户支持之间的协作流程。

舞肌已经通过科研与模型研发获得用户,接下来需要让采用转为持续使用。客户再次采集、再训模型或更换设备时,若能保留已有的工具与操作流程,前期研发投入就更容易复用。

被问到是否要定义行业标准,潘韫哲说:“我们认为标准不是你定义出来的。” 他把重点放在产品是否好用、是否符合用户需要上。

当模型和训练方法不断变化,硬件供应商仍有机会留在客户的日常研发中。这要求它提供一致的设备、可复用的数据接口,以及出了问题能恢复实验的支持。舞肌在参考平台和研究项目中获得的采用,最终要由这些日常使用体验来延续。

-END-

点击查看全文
评论赞0 分享
轨迹
舞肌 灵巧手 英伟达

欢迎关注我们!

版权所有:上海恩翌信息科技有限公司
联系人1:NE时代-小恩
联系电话:188-1775-0862
备案许可号:沪ICP备17041240号-4
RSS 订阅通过rss订阅最新文章