◎ 把真实世界变成机器人能用的数据。
△ 撰文:董志洋
“机器人行业的数据匮乏,是非常令人震惊的。”
10月14日,禾赛科技联合创始人、首席执行官李一帆在新品发布会上谈到一个反差:汽车可以在行驶中持续采集道路数据,机器人却还没有同等规模的真实场景数据。
当天,禾赛正式发布三维世界数据引擎Kosmo,同时推出AI空间相机Kosmo One和云平台Kosmo World。前者采集真实空间,后者将数据重建为可以漫游、编辑和用于训练的三维场景。
从激光雷达到Kosmo,禾赛开始交付的不只是感知设备,还包括机器人进入一个新场景前所需的三维空间数据。发布会当天,禾赛还与银河通用机器人、原力灵机分别签署战略合作协议。
把真实世界变成机器人能用的数据
“当前,物理AI缺的不是数据,而是真实世界数据。”
禾赛联合创始人、首席技术官向少卿解释,图片和视频有外观,却缺少完整的深度、位姿和空间关系;纯仿真可以快速生成场景,但材质、摩擦和形变等物理细节难以完全还原;真机遥操作贴近实际任务,采集成本又限制了规模。
银河通用机器人联合创始人姚腾洲在发布会圆桌上谈到,如果提前获得客户工位的三维结构,团队就能先在实验室了解设备和作业位置、调试模型,减少机器人到现场后的调整时间。
Kosmo One承担现场采集,设备中集成了高解析力激光雷达、一英寸CMOS影像传感器和IMU。雷达测量几何形状与距离,影像系统记录颜色和纹理,IMU辅助定位,几类信息以微秒级同步。
向少卿在现场以扫描网球拍为例,拍线上约5毫米的网孔也能被识别。结合3DGS重建,Kosmo One的几何精度可达毫米级。
作为全球首款集成8K影像系统的AI空间相机,Kosmo One的五个摄像头覆盖环绕视场,影像系统最高支持8K拍摄,最终导出的文件最高为6K。
为了让不同角度拍到的同一面墙保持相近的颜色和纹理,禾赛还开发了针对多镜头、连续扫描的ISP处理系统。否则,各段画面即使能够拼成一个房间,也容易留下明显的色块和接缝。
此外,采集操作也被压缩到即开即扫、智能指引和一键续扫。
在普通室内场景,约15分钟可完成100平方米空间扫描;数据随后进入Kosmo World,继续完成三维重建和处理。
扫完一间房,机器人怎么在里面训练?
Kosmo World的底层系统是Kosmo Spatial Core(KSC)。
它从同一次采集生成彼此对齐的3DGS、网格模型和深度信息:3DGS保留空间的颜色、纹理与光影,网格模型提供几何表面,深度信息记录机器人从某个位置看过去时,物体究竟有多远。
这三类数据来自同一空间,机器人看到的画面、用于接触的物体表面和测得的距离可以对应起来。网格模型还便于把物体拆分出来,建立可交互的几何结构。
在硬件、数据集和成图质量要求相近的条件下,Kosmo生成模型的速度最高达到同类3DGS产品的约5倍。
Kosmo World通过三维语义分割识别沙发、书等物体,将它们从背景中单独取出,附上语义和操作属性;开发者可以移动物体、更改布局,给机器人准备同一房间里的不同任务。系统还会识别并重建材质、纹理,用AI补全相机没有扫到的区域,再组成可漫游的场景。
这些场景可以按目标机器人的相机特性调整画面,进入预训练、后训练和测评流程。
在禾赛展示的仿真视频中,Sharpa机器人在数字客厅里接触并调整物品,房间里的对象也随训练任务变化。
但有了三维场景,机器人还得学会怎样碰到并操作物体。
原力灵机联合创始人范浩强在圆桌上谈到,空间信息要与机器人的动作、运动学和物理接触结合;团队也在尝试将三维信息注入具身模型,让模型在执行操作时用上物体的位置与空间关系。
Sharpa机器人在上海吴江路DQ门店的部署,呈现了这套流程怎样落地。
机器人需要使用门店原有设备制作暴风雪,团队先要建立可供训练的数字场景:专业团队人工建模约需300小时,用Kosmo扫描并重建约需15分钟。
使用Kosmo重建的门店场景训练后,Sharpa机器人的失败案例降至原来的十分之一,任务成功率达到99%。门店里的机器人每天工作超过12小时,不依赖遥操作,完成50余步的暴风雪制作流程。
Kosmo要打通的正是Real2Sim2Real,采集真实场景,在仿真环境中训练,再让机器人回到现场执行。
苏度科技商业副总裁张校珩在圆桌上强调,工厂要走通这条路径,首先得把真实工位的场景和作业条件带入数字环境。
现场数据如何使用,也得与客户谈清楚。张校珩提到,客户即使允许现场采集,也未必愿意把工艺数据交给机器人公司训练通用模型;数据留在哪里、由谁使用,会影响训练安排。
世界模型,还需要一个真实空间
Kosmo采集的同一间房,也可以成为世界模型的训练材料。
三维场景提供相机位姿、深度和不同视角之间的对应关系,系统还能从中生成运动轨迹,让模型学习视角移动后物体在画面中的位置怎样变化。
单个场景可生成上万条空间轨迹,按采集一条高质量真机轨迹的成本测算,同样投入下,这类数据的获取效率提高百倍以上。
向少卿还展示了Kosmo与生成模型配合的一组对照。
他让GPT-6 Astra根据约20张房间照片重建场景,结果中出现错误的物体位置和凭空生成的局部结构;改用Kosmo扫描得到的3DGS作为输入后,房间结构和物体摆放更接近原场景,但花等物体的材质仍有差异。
这恰恰也说明两类技术如何配合:先用设备记录真实房间,再让生成模型在这个基础上工作,不必仅凭照片推测空间结构。
Kosmo提供的实测空间数据可以交给GPT-6 Astra这样的模型继续处理,两者不是互相替代的关系。
影溯科技创始人、董事长章国锋在圆桌上把问题往数据生产推进了一步。他关注原生三维、四维数据如何进入世界模型,也认为生成模型的进步可能降低这类数据的生产成本,进而让更多世界模型和行业应用使用空间数据。
一份空间数据,还能卖给谁
在影视制作中,真实场景的三维数据可以从前期勘景一直用到后期编辑。
前期预演时,单人一天便可完成场景数字化采集,勘景费用占前期预算的比例有望从约30%降至5%;拍摄时,场景可接入UE,并用于LED虚拟制作或绿幕流程,供团队调整机位、光照和背景。
以一万平方米的欧洲街景为例,实景搭建约需两个月,使用Kosmo扫描、重建和编辑约需一周;与实景租赁和搭建相比,综合成本最高可降低80%。
进入后期后,场景中的物体还可以被再次调用、调整或用于补拍,不必每次重新搭建。
艺术家Dylan Sisson用Kosmo扫描皮克斯广场,再将3DGS数据经USD、Houdini送入RenderMan,调整画面风格与场景元素。皮克斯随后把这套流程做成官方教程,让创作者在专业渲染管线中使用真实空间数据。
与跃墨工作室的合作则面向AI影视制作:先采集可考据的真实空间,再以此为镜头和人物生成提供场景基础,减少完全从零生成虚拟空间时的Token消耗。
在文旅文博领域,Kosmo与联合国合作伙伴TRIC围绕成都杜甫草堂制作沉浸式数字艺术作品。
商业空间里,禾赛与高德达成战略合作,首批三维场景已经在“飞行街景”上线重美术馆和偏锋画廊;从“找到一家店”进一步走向“找到店里的一件商品”,是双方希望探索的方向。
然而,不同客户需要的三维场景并不完全一样。
群核科技联合创始人、首席执行官陈航在圆桌上谈到,家装与定制制造需要门窗、柜体等对象准确的尺寸和结构信息;未来机器人要操作门窗,还得知道怎样施力。他也提到,扫描设备的价格会影响这类数据能否被更广泛地采集。
禾赛为Kosmo安排了两种商业方式:客户购买相机与云平台,自己采集和制作三维资产;或者由禾赛为物理AI、世界模型等企业生产空间数据。
除了3DGS和网格资产,Kosmo还开放图像、点云、IMU等原始数据,让不同团队在自己的训练或创作流程中使用。
在机器人端,这些数据和资产可以接入Isaac Sim、Isaac Lab;在影视和内容制作端,可以进入UE、RenderMan、Houdini等现有工具。
数据与运动,禾赛的第二增长引擎
Kosmo发布后,禾赛的业务图里出现了三类产品:激光雷达负责感知,三维世界数据引擎负责采集和处理真实空间,动力模组则进入机器人的执行端。
李一帆用“感知、理解、执行”概括这次延伸。
过去十余年,禾赛围绕激光雷达积累了自研芯片、光机电一体化设计与精密制造能力,激光雷达交付量连续九年翻倍增长,在ADAS乘用车和Robotaxi市场取得全球第一的市占率。
Kosmo One沿用了多传感器集成与量产经验,动力模组则用上精密机械、传动、电机和制造方面的能力。
禾赛把动力模组的设计方式称为“AI-Defined Hardware”:先看机器人需要怎样运动和操作,再确定关节需要的尺寸、力量与控制能力。
Sharpa的Wave(W01)触觉灵巧手使用禾赛动力模组,拥有22个主动自由度,与人手1:1同构;它是业内首个实现量产的高自由度可反驱灵巧手,已进入英伟达Isaac GR00T人形机器人参考方案,也被伯克利、斯坦福和南洋理工等研究机构采用。
禾赛动力模组的体积较典型同类产品缩小37%,功率密度达到约三倍;截至2026年第二季度末,累计交付超过1万套。产品正从灵巧手模组扩展到全身关节模组,李一帆预计2027年出货量达到六位数。
李一帆还提到,禾赛的三位创始人也是Sharpa的创始人,Sharpa在灵巧操作中遇到的重量、速度和控制需求,可以传递给禾赛的硬件团队,再通过产品测试反馈到下一轮设计。
Kosmo则让禾赛第一次以另一种方式定义产品。
过去,公司更多围绕大客户的具体要求交付零部件;这一次,它先把采集设备、重建算法和云平台组合成产品,再交给机器人、影视、文旅等领域的客户使用。
李一帆将这种变化概括为从供应商走向“需求的定义方”。
“数字AI已经起飞,而物理AI的基础设施仍亟待建设。”李一帆认为,AI走进真实世界需要两类能力:理解真实空间的三维数据,以及驱动机器人行动的运动能力。
三维世界数据引擎和机器人运动引擎,是禾赛希望培育的第二增长引擎。
对于这家公司接下来要做什么,李一帆坦言:“过去十年,禾赛做的是让机器看见世界;下一个十年,我们要做的是让机器人理解并改变世界。”
【往期推荐】
-END-






沪公网安备31010702008139