NE时代

触觉AI赋能：解锁高自由度机器人灵巧操作的新路径。

在机器人灵巧操作领域，触觉感知的突破正成为连接机器与物理世界的关键纽带。

近日，Sharpa公司再度发布硬核技术成果，其旗下机器人North实现了一项里程碑式突破——可从零开始自主完成一台电脑的完整组装，全程无需人工干预，操作流程精准有序、流畅高效。

NE时代智能体 ，赞224

从零部件的精准定位与抓取，到螺丝的精准拧紧、线路的规范剪切，每一个需要高频接触、精细操控的环节，North机器人均依托先进的触觉反馈技术从容完成，将高实操性、高复杂度的手工操作场景，成功转化为机器人可自主完成的标准化任务。

这一成果远超越传统基础自动化的范畴，不仅彰显了机器人灵巧操作的全新高度，更直观展现了仿生灵巧手与触觉人工智能深度融合所能达成的技术成就。

而这背后，是Sharpa在触觉感知硬件与人工智能算法领域的长期深耕与系统性创新。

在2026年GTC大会上，Sharpa负责触觉传感与相关算法的朱雪洲，分享了通过触觉AI解锁高自由度灵巧操作的实践与思考，为通用灵巧操作的实现提供了清晰的技术路径与落地思路。

随着高自由度灵巧手产品的迭代，机器人灵巧操作迎来了新的发展机遇。

Sharpa推出的Sharpawave灵巧手，采用与人手1:1的大小比例，具备22个主动自由度，搭载高分辨率触觉传感系统，单个指尖触觉像素超1000个，灵敏度达0.005N，支持180帧/秒的数据采集与实时纹理识别，同时拥有强劲的动态响应能力和友好的开发环境，可执行剥鸡蛋、使用剪刀等高精度操作，已实现量产发货，为机器人灵巧操作及高质量具身数据采集奠定了坚实的硬件基础。

这类产品的出现，打破了传统机器人操作的局限，让机器得以更精细地感知和交互物理世界。

机遇与挑战相伴而生，高自由度灵巧手的普及也面临着数据采集复杂、视觉与触觉模态竞争、计算开销增大等现实难题。

面对这些困境，行业内存在两条技术路径：

一条是短期便捷的“妥协之路”，即采用夹爪和纯视觉技术，虽能快速完成特定任务演示，但长期将面临范式转移和硬件重构的风险；

另一条则是“难而正确的路”，将触觉灵巧手视为核心工具，通过手内触觉反馈提升数据采集的质量与效率，实现从粗动作到细动作的升级，借助分层式计算优化效率，逐步攀登通用灵巧操作的高峰。

Sharpa团队坚定选择了后者，通过技术创新破解行业痛点。

对于高自由度灵巧手而言，如何正确运用触觉信息，是实现精细操作的核心命题。Sharpa团队提出，分级动作生成是破解这一命题的有效方法，这一思路与人自身的动作控制逻辑高度契合。

结合人类日常操作经验，可将机器人操作动作划分为两个核心阶段：视觉引导阶段（A阶段）与接触阶段（B阶段）。

A阶段通过视觉观察引导灵巧手以正确姿态与物体接触，B阶段则依靠触觉与本体觉的实时动态反馈，凭借“手感”完成精细操作。

从生成式概率模型的视角来看，这两个阶段可形象地理解为“两级条件概率漏斗”的串联：

A阶段以视觉为主要条件，生成粗动作与操作意图，承载几何约束、物体可供性、动作规划等规律；B阶段以触觉与本体觉为主要条件，结合上一级的粗动作生成精细动作，聚焦接触动力学、力闭合等力学相关的物理规律。

这种分级逻辑，与人类大脑、小脑、神经系统的分级协同机制异曲同工，本质上是通过熵减生成过程，实现精细动作的精准控制。

基于这一观察，Sharpa团队构建了由System 2、System 1、System 0级联组成的分层架构，有效平衡了实时性、精细度与计算开销。

其中，System 2承担逻辑推理职责，将复杂任务拆解为可执行的子任务，输出语义层面的操作意图；System 1负责动作生成，结合视觉观察将语义指令转化为具有物理含义的动作轨迹；System 0则专注于高实时性接触反馈控制，结合触觉与本体觉的“手感”信息，精准执行动作意图。

这一架构的设计充分考虑了计算开销与模态冲突的平衡：推理频次最高的system 0采用最小模型规模，模型规模最大的system 2仅需低频推理，system 1介于两者之间，既保证了总计算开销的合理性，又使精细动作的反馈控制频次达到100赫兹的高水平。

同时，每个系统均以一种模态为主、其他模态为辅，有效缓解了语言、视觉、触觉的模态冲突，确保各类信息以合理频次高效处理。

在此基础上，Sharpa将自研的system 1与system 0整合为分层式VTLA模型，命名为CraftNet，搭配成熟的VLM视觉语言模型作为system 2，形成了从语义任务到精细操作的完整闭环。

在整个系统架构中，system 0是实现实时精细操作的核心，其研发涵盖仿真建模、数据生成、模型训练与真机实验四大环节。

从模型设计来看，system 0的核心需求是从数据中提取条件概率分布规律P( ΔAction | Sense, Intent )，因此选用推理速度较快的flow matching流匹配模型——这类模型能高效捕捉多模态路径分布，适配实时控制需求。

其中，Sense（传感条件）涵盖触觉与本体觉，Intent（意图条件）可通过action tokens等方式表征物理意图，模型输出ΔAction（动作调节量），具体可表现为关节角度（Δq）或特征点（Δkeypoints）的调整。

为将推理速度优化至100赫兹量级，Sharpa采用了减少ODE结算步骤、控制观测与预测帧数（五帧以内）、精简模型参数等方法，经实验验证，在4060算力支持下，其推理帧率可稳定维持在100赫兹以上，与Sharpawave灵巧手180赫兹的触觉传感帧率完美兼容。

此外，system 0具备灵活的应用场景，既可与system 1对接实现机器人自主操作，也可单独与遥操作设备联动，助力高质量数据采集与异地遥操作。

System 0的性能表现，离不开高质量预训练数据的支撑。

其预训练的核心是让模型掌握摩擦角、力闭合、抓握稳定性等力学规律——这些规律无需模型显式理解，而是通过数据分布潜移默化地融入模型。

为生成蕴含这些规律的数据分布，团队采用了“自下而上”的动作层级选择，从抓取、捏取、插入、手内旋转、重定位等基础原子动作入手，确保模型掌握基础“手感”。

在数据生成方式上，仿真+强化学习成为最优选择。

相较于真机数据，仿真环境能以较低成本生成大量预训练数据，借助环境中的特权信息与强化学习的奖惩机制，可精准调整数据分布，确保数据能有效反映灵巧操作的物理规律。

而真机数据则主要用于System 1与System 0的端到端微调，采集复杂度高于基元任务的中长程数据。

值得一提的是，预训练后的System 0接入遥操作系统，还能显著提升真机数据的采集质量与效率，实现异地人机协同。

具体而言，仿真建模与强化学习的实施过程分为多个关键步骤：

首先，在NVIDIA Isaac Sim中构建Sharpawave灵巧手的数字资产，直接从硬件原始设计图导出URDF文件，确保仿真模型与真实硬件精准对齐；

在碰撞处理中采用凸包技术，既保留物体关键几何轮廓，又降低计算负担。

随后，通过标定PD执行器参数，实现动态参数校准，确保施加相同动作指令时，仿真模型与物理实体的状态保持一致。

触觉传感的高保真建模是仿真与现实对齐的核心。

团队在仿真中重点建模接触力、接触点、形变图三类触觉信息：接触力与接触点通过仿真中的接触传感器直接读取，形变图则通过自研的Isaac Lab插件实现——该插件通过计算物体与传感网格的几何穿透深度，将其映射为二维图像，模拟真实弹性体的受压形变。

实验验证显示，这套建模方法的sim-to-real对齐精度极高：仿真与真实接触点误差不足1毫米，受力误差约0.5N，形变区域重合度超过85%，大幅缩小了触觉传感的仿真与现实差距。

在仿真速度方面，基于单块RTX 4090显卡、开启1000个环境时，仅输出力与接触点信息的仿真速度可达每秒10000步，输出完整触觉信息时可达每秒2000步，满足大规模数据生成需求。

在强化学习环节，Sharpa采用PPO算法训练teacher policy，再将其蒸馏至student policy并去除特权信息，具体分为四个步骤：

搭建仿真环境并生成初始状态；针对性设计奖励与惩罚项，将人类对操作力学的先验理解融入其中（如约束力度范围、避免物体滑脱等），训练teacher policy；通过teacher policy的输出监督student policy，完成蒸馏并去除特权信息；将仿真中训练的student policy零样本部署至真机环境。

值得一提的是，Sharpawave灵巧手的仿真资产与模型兼容Newton物理引擎，可进一步提升仿真环境的灵活性，且这些仿真资产与触觉模型将向Sharpawave客户开放，助力加速客户的开发与部署进程。

总的来看，仿真数据的产生方法，具体可从理论与工程实践两个层面展开。

在理论层面，灵巧操作动作的分布遵循状态动作空间中的低维流形，该流形集中体现了灵巧操作手感的物理规律；强化学习的试错过程本质上是一种采样筛选过程，可逐步勾勒出这一分布流形，再通过生成式概率模型对数据分布进行学习消化，最终构建出system 0所需的操作“手感”。

在工程实践层面，仿真数据的产生遵循“仿真建模→子任务定义→强化学习→数据分布”的核心流程。在各类任务设计中，需基于人对操作力学的先验认知，合理设计奖励与惩罚机制，以获取符合需求的数据分布。

同时，工程实践中的数据产生并非一蹴而就，需持续开展迭代优化工作，包括仿真模型的完善、对操作力学过程的深度理解等，且当system 0形成初始版本后，其也将融入迭代链路，参与整个流程的进化升级。

真机实验的结果，充分验证了system 0与CraftNet架构的有效性。

在手内物体重定向实验中，未接入system 0时，遥操作设备直接控制灵巧手几乎无法完成动作，即便依靠视觉反馈，物体也易脱落；而接入system 0后，灵巧手接触物体后可自动生成稳定抓握动作，在人类给出初始动作与意图的前提下，能实现物体多方向旋转，全程保持物体受力平衡。

在双指捏球搓球实验中，system 0展现出类似“磁吸吸附”的效果，即便主手粗动作较为随意，也能维持小球稳定，完成横向揉搓动作，同时具备抑制粗动作扰动的能力，当主手明确松开时，灵巧手可同步松开小球。

这些实验表明，system 0能够有效承担“手感控制”的角色，与人或system 1的“动作规划”角色协同，加速真机数据采集与场景落地。

除了技术实践，朱雪洲还针对行业普遍面临的数据困境与sim2real gap（仿真与现实差距）问题，分享了Sharpa的思考与解决方案。

当前，具身机器人操作数据面临着“真机数据少且难以采集，互联网数据质量低且难以有效运用”的困境，其本质是缺少代表机器人“手感”规律的数据分布：互联网数据不包含手感信息，现有真机数据多为开环动作，缺乏闭环实时反馈与精细调节，难以描绘完整的手感规律。

而仿真+强化学习的结合，正是突破这一困境的关键突破口。

通过特权信息、任务设计、奖励惩罚项优化等方式，可人为塑造符合手感规律的数据分布，将人类先验知识转化为数据生产的指导，而非直接设计AI网络参数，这种方式既高效又具价值。

在此基础上，通过仿真预训练System 0，结合遥操作设备提升真机数据采集效率，再利用互联网视频、Ego-Centric等数据预训练System 1，最终通过CraftNet实现从任务输入到精细执行的完整闭环，为具身操作的数据困境提供了可行的解决路径。

对于sim2real gap问题，Sharpa也提出了两条核心优化路径。

一方面，依托自身在灵巧手硬件与传感器设计制造的优势，针对性开展高保真建模，最大限度缩小仿真与真实硬件的差距，已实现策略的零样本迁移（Zero-Shot Transfer）；同时，持续优化硬件非线性、非连续特性的建模精度，进一步提升仿真可靠性。

另一方面，利用System 0的闭环鲁棒性“消化”差距——作为概率生成模型，System 0能根据实时感知输入与任务意图持续生成动作，本质上是一个闭环反馈系统，可通过传感器捕捉误差并实时响应，有效弥补仿真与现实的偏差。

值得注意的是，高自由度触觉手的闭环反馈系统难以通过经典控制方法构建，而生成式AI的发展的为其提供了可行的技术路径，让机器人真正拥有了“手感”。

总结而言，触觉AI与分层架构的结合，为高自由度灵巧操作的落地提供了全新思路。

Sharpa的实践表明，分层式 VTLA 架构可有效利用触觉信息，实现高实时性、动作精细且稳定的闭环控制。

而高自由度传感控制系统可依托生成式概率模型构建仿真与强化学习相结合的方法，为预训练数据的生成提供重要支撑。

此外，针对sim2real gap问题的优化主要包含两条有效路径：一是将建模精度提升至相应水平，二是通过学习闭环反馈策略提升模型鲁棒性。