OpenAI做机器人,打退堂鼓了?

◎ OpenAI的机器人,绕回了GPT。

△ 撰文:董志洋

9月,OpenAI首席执行官Sam Altman确认,公司一定会做人形机器人。

9月3日,官网Robotics团队列出21条招聘岗位,从执行器设计、固件到传感器和数据采集,涉及本体研发的多个环节。

两个月后,独立机器人团队却被撤销了。

11月13日,OpenAI向《财富》确认组织调整:机器人研究人员并入首席研究官Mark Chen领导的主研究团队,应用机器人和硬件人员转入总裁Greg Brockman负责的Applied组织,但公司仍将通用机器人列为长期目标。

促成调整的一个关键变化,是GPT-6 Astra等通用模型已经表现出直接用于机器人的能力。OpenAI希望让机器人研究直接利用通用模型的进步,而不再由独立团队推进。

对机器人企业来说,这也会改变研发的取舍。理解任务、判断空间关系,乃至生成部分操作动作,都开始有了可以调用的通用能力。专业团队需要进一步证明,自己能让机器人更快适应新的工作,并且做得更可靠。

▎从解魔方,到自己造人形

OpenAI研究机器人,比ChatGPT问世早得多。

2018年,Dactyl项目让机械手学会在掌内调整物体姿态;2019年,团队进一步展示了单手解魔方。研究人员在仿真中用强化学习训练控制策略,再把策略迁移到真实机械手。

为了适应现实差异,团队在模拟环境中改变物体尺寸、摩擦等条件,让策略经历更多情况。2019年的自动域随机化,还会随着训练进展扩大变化范围,增加学习难度,帮助机械手应对真实设备与模拟器之间的差别。

2020年,OpenAI结束了这一轮机器人研究。联合创始人Wojciech Zaremba后来解释,机器人数据有限,而通过其他方法实现通用人工智能更有效率。公司随后把更多精力投向大规模语言模型,2022年底推出ChatGPT。

当年的选择与获取经验的成本有关。语言研究可以利用互联网上已有的大量文本,机器人研究除了仿真,还需要处理实际设备上的操作、反馈和失败。手里的魔方转得再灵活,也没有自动带来完成其他工作的能力。

此后,OpenAI通过投资和合作重新接近机器人。

2023年,OpenAI Startup Fund投资1X,2024年又参与Figure融资;Figure与OpenAI开展人形机器人模型合作。同一年,OpenAI重建独立机器人团队。

Figure 01递苹果的演示展示过这种合作:OpenAI模型提供视觉理解和语言能力,Figure自己的神经网络负责快速、精细的机器人动作。面对“给我一些吃的”,机器人选出桌上的苹果,并解释选择它的原因。

到2025年2月,Figure宣布结束合作,转向自研机器人模型,随后发布Helix。OpenAI则继续扩展内部研发,开始为自己的机器人准备数据、硬件与制造资源。

2026年1月,OpenAI向美国制造企业征集合作方案,范围包括机器人、消费电子和数据中心。机器人部分涉及执行器等机电模块,以及轴承、传动机构、电机和功率电子等制造能力。

据《Business Insider》今年初对旧金山数据采集实验室的调查,当时约100名采集人员轮班工作,使用GELLO遥操作控制器操纵Franka机械臂,完成折衣、把面包放进烤面包机等任务。相机和系统记录操作过程,为模型训练积累经验。

采集需要有人准备物品、操纵设备,维护并校准工作站,再把操作记录整理成训练样本。持续获得这些经验,也就需要维持人员、设备和数据处理的投入。

5月底,Altman介绍,由Aditya Ramesh带领的世界模拟研究已发展为OpenAI Robotics,团队以硬件与机器学习协同设计为基础,招募工程和研究人员。执行器岗位要求从架构设计做到原型测试,综合考虑扭矩密度、响应、效率和散热。

模型输出动作之后,关节能否及时响应、连续工作时是否过热,都会影响执行。参与硬件研发,让团队有机会根据任务调整设备,也能把实际测到的关节特性用于控制和训练。

在9月发布的《Sources》交流中,Altman解释,人类的环境、工具和设备大多围绕人的身体设计,采用人形有助于机器人使用现成设施。他也确认会做其他形态,并强调,相比形态,更重要的是研究出能让机器人工作的“大脑”。

OpenAI还曾把首次公开演示的目标放在2027年。从研究动作,到采集操作经验、开发执行器,再到准备人形机器人演示,公司此前的投入已经深入实体设备。

而11月的调整发生在这些工作之后,与早年暂别机器人不同,这次公司改变的是继续研究机器人的方式。

▎机器人研究,为什么并入通用模型团队

OpenAI向《财富》解释,今年初,研究人员原本认为,沿着Sora等模型的工作推进,是改善机器人智能的重要路径。团队希望利用视频模型学习物体和场景变化的能力,进一步研究机器人如何与物理世界交互。

随后,GPT-6 Astra等通用模型显示出直接用于机器人任务的能力。公司表示,这一发现促成了重组,让相关研究人员进入通用模型研发团队。

OpenAI正在押注,通用模型的改进本身就能解决更多机器人问题。当模型开始根据画面判断物体关系、选择动作,再利用执行反馈修正操作,机器人研究便可以直接利用这套能力继续推进。

这会改变机器人团队的研发顺序。团队可以先检验通用模型已经会什么,找出操作中的不足,再开发所需的接口、训练方法和应用系统。部分基础能力随通用模型一同改进,机器人团队则更集中地处理设备与任务带来的问题。

卡内基梅隆大学机器人研究所助理教授Guanya Shi在接受《财富》交流时,将此次调整理解为一个信号:OpenAI可能开始把机器人视为通用智能的下游应用,类似同一套基础模型被用于编程等不同工作。

对OpenAI来说,主研究团队本来就在持续训练通用模型。机器人研究人员加入后,可以在同一体系中检验这些能力怎样迁移到设备上,并把操作中暴露的问题带回模型研发。

在资源分配方面,《财富》报道,OpenAI面临经营压力,正在收缩部分支线,把算力转向核心业务。Altman在此前交流中也谈到,公司曾将原本可以投入聊天产品的算力转给编程;模型效率提高后,增长的使用需求又会消耗新增供给。

机器人也与Altman设想的基础设施建设有关,他在交流中谈到,如果机器人、芯片项目和供应链投资能够共同推进,OpenAI可能以更低成本建设数据中心。这是他对几个项目协同作用的设想。

这次组织安排把模型研究与应用、硬件开发分别交给两大组织。后续的进展取决于通用模型能把多少能力带到实体设备上,以及机器人研究还需要补上哪些工作。

▎通用模型,已经开始生成机器人动作

英伟达的Astranomy研究测试了GPT-6 Astra生成机器人动作的能力。研究人员提供相机画面、机器人状态和控制接口,让模型输出机械臂末端的位置、姿态等指令,由控制器执行,再把新观测交回模型。

以抓取为例,模型需要判断目标在哪里、夹爪怎样接近,执行后再观察有没有抓住。它根据当前结果决定后续动作,已经参与到操作过程中的具体决策。

在包含120项抓取放置任务的RoboLab-120仿真测试中,直接生成末端动作的方案成功率为66.3%;使用持续保留交互历史的智能体方案,成功率达到74.8%。项目同时列出的既有排行榜模型Lakeside成绩为51.0%。

研究人员还尝试让另一个机器人动作模型先提出建议,再由Astra审核或改写,成功率为66.5%,与直接生成动作接近。在这组抓放任务中,加入专用动作模型并没有显示出明显优势。

这些方案没有为测试任务重新微调Astra的权重。消融实验发现,保留交互历史有帮助,动作接口、几何信息和上下文的选择也会影响表现。

△ RoboLab-120仿真抓放成功率。前三项采用Astra,Lakeside为外部榜单参考。

对开发者来说,一部分工作转向了怎样提供设备信息与执行反馈。模型可以尝试自己生成操作,但它拿到什么信息、能使用怎样的动作接口,会影响最终效果。

SenseNova团队将GPT-6 Astra接到八种真实机器人平台上,没有进行平台专项训练,但为模型提供了机器人规格、控制接口和相应上下文,测试抓放、插接和移动等任务。

插花实验中,夹着花茎的机械臂挡住了自己的腕部相机,模型无法从这个视角看清花瓶口。换成双臂Piper后,模型移动空闲机械臂,让它的腕部相机观察瓶口,再完成插入。

△ 双臂移动相机看清瓶口后完成插花。左:单臂;右:双臂。

机器人看不清目标时,模型可以尝试让它换个位置看。观察也成为操作策略的一部分,模型能够利用另一条手臂获取信息,而不必始终依赖预先固定的视角。

该团队的真机测试同时呈现了任务差别:刚性物体抓放相对可靠,柔性物体、精密接触和长程移动更难。部分插接尝试因保护机制或硬件故障中断,重试会消耗时间,也会给设备增加负担。

11月9日,Anthropic也展示了Claude Fable 5.2操作机器人拧瓶盖、绘画等任务。在其内部运行的RoboDojo Sim测试中,Fable 5.2的平均成功率为64.9%,上一代Fable 5.1为27.6%。通用模型操作能力的进步,已经出现在不同厂商的实验中。

但是,推理耗时仍然是一个问题。

在Astranomy成功回合的统计中,直接控制方案平均每次推理耗时18.56秒,包含网络延迟,推理时仿真暂停。另一种保留历史的智能体方案,成功回合平均消耗约3090万token,按发布时价格估算为36.40美元。

仿真可以等模型想完再继续。真实场景中,物体可能继续滑动,设备也可能进入下一道工序,机器人需要及时调整动作。随着通用模型能够做成更多操作,开发者还要处理等待时间、计算开销与实际执行之间的关系。

▎专用模型,要把效率和泛化做出来

在今年机器人学习大会CoRL的演讲中,英伟达机器人业务总监、杰出科学家Jim Fan从Astra作画的演示谈起。他随后为机器人技能提出两个要求:能不能通过示范教会,能不能用推理引导?

他展示的GR00T 2读取指令、多视角视频和机器人状态,同时预测后续画面与动作。通用模型可以给它目标、观察执行结果,也可以参与处理动作模型自己做不好的情况。

装玩具飞机时,动作模型把上层机翼拿反了。ASPIRE框架暂停原动作,调用程序轻推机翼、改变朝向,再把控制交回动作模型,继续安装。团队先让Astra在仿真中试出并验证这段恢复程序,再将它存入技能库。

△ 机翼方向错误后,系统暂停、调用纠错程序,再交回动作模型继续安装。

这种合作把一次推理得到的办法变成了可复用程序。机器人遇到同类失误时可以调用,团队也能在保留原有装配能力的同时,为它补上纠错技能。

谈到这项装配,Jim Fan说:“Neither Astra nor Groot can do this alone. And you need both.”意即,单靠Astra或GR00T,都无法独自完成前面展示的合作任务。

另一段演示展示了本地执行的安排:GR00T 2 Turbo在Jetson AGX Thor上约每秒运行一次,输出动作片段;SONIC全身控制器在Jetson Orin NX上以50 Hz运行,在两次模型推理之间持续更新身体动作。

两类模型怎样配合,需要围绕具体问题设计。抓放任务可能直接交给通用模型,装配恢复可以调用程序技能,身体的连续控制则需要及时更新。专业团队需要证明自己补上的能力,能让整项任务更可靠、更高效地完成。

在OpenLET具身智能开发者大会上,清华大学交叉信息研究院助理教授、破壳机器人创始人许华哲提出:“我们到底希望机器人做一个动作一万次,还是做一万个不同的动作?这是通用和专用最大的区别。”

他把目标从“Robots must learn”转向“Robots must generalize”。团队自己展示过机器人制作麻婆豆腐,但他也指出,适应同一任务中的光照和位置变化之后,模型还需要面对新的任务、场景和机器人。

专门为机器人训练的模型,同样可以追求通用性。它们希望把动作与物理交互学得更充分,让机器人遇到新工作时,减少重新教学和适配的投入。

许华哲介绍,开发者拿到基础模型后,往往还要采集自己的任务数据,微调和评估,失败后继续补采。演示项目可能花几天,大型项目可能持续数月,他希望通过RoboAPI缩短这段开发过程。

RoboAPI接收语言指令、机器人观测与状态,返回后续动作片段;执行后,腕部相机的新图像进入下一轮请求。开发者接好相应图像和控制接口后,可以尝试调用模型完成任务。

在团队展示的一组操作测试中,RoboAPI平均完成时间为19.37秒,Astra的high fast配置为396.30秒。许华哲用这组任务用时,说明专门面向操作的模型希望提供怎样的效率改进。

实际使用时,用户要等待机器人把事情做完,模型的反应速度会影响整项工作的时间。而换个任务是否还要补采大量数据、重新训练,又决定了用户需要为开发付出多少工作。泛化和效率都与使用成本有关。

许华哲还用GPT与ChatGPT的关系解释模型和产品入口的差别,提出具身智能也应有自己的基础模型和“属于具身的ChatGPT”。通过API提供操作能力,是团队尝试降低使用门槛的方式。

Jim Fan在演讲中也表达了对通用模型进展的积极看法:前沿模型降低了进入机器人领域的门槛,同时抬高了机器人能力的上限。

更容易获得通用能力,会让更多团队开始尝试机器人,也会让它们对模型提出更高要求。专业团队要争取这些用户,需要把已有能力用到更复杂的工作中,并减少使用者的开发负担。

▎大模型,也能帮机器人学得更快

机器人团队训练专用模型时,也可以利用通用模型完成一部分研发工作。准备仿真、分析操作录像和寻找失败原因,已经有了具体尝试。

谷歌展示的Gemini 4 Argon,可以根据真实场景建立仿真,生成不同条件下的练习过程,也能从录像中分析任务为什么失败。研究人员把它用于加快Gemini Robotics 2.5的开发,将仿真练习与真实示范结合,改善机器人对新场景和物体的适应。

△ 从真实桌面建立仿真,生成不同条件下的练习数据。

研究人员用通用模型准备训练环境、分析失败,动作模型再从这些练习中学习。通用模型的进步,也能帮助专业团队把自己的模型做好。

11月10日,谷歌公布与Apptronik、奔驰合作的配料概念验证。Apollo 2人形机器人在德国辛德芬根和匈牙利凯奇凯梅特工厂,从料箱中抓取汽车金属支架,再按车辆所需顺序放入容器,任务成功率为96%。

Gemini Robotics ER跟踪工作流程,Gemini Robotics 2.5负责手臂和手部动作。Apptronik联合创始人兼首席执行官Jeff Cardenas介绍,经过几周的后训练,模型表现明显改善,迁移到奔驰生产场景时,表现下降较小。

△ Apollo 2从供料箱取出金属支架,移向配料容器并放下。

从理解配料要求到取出支架,团队仍然需要让模型适应真实工位。物品怎么放、抓取时哪里容易出错、操作失败怎样恢复,都需要在执行中检验和改进。

麻省理工学院教授、Walden Robotics联合创始人兼首席执行官Russ Tedrake在接受《财富》交流时,强调了已部署机器人积累的经验。他认为,更强的基础模型会让现场数据更有价值,因为机器人能更快从中学习。

现场数据的价值,需要通过机器人学会了什么来体现。记录过真实工件上的失败与纠正,团队就有机会针对问题改善操作;采集时长增加后,模型表现是否提高,仍要通过后续测试回答。

GR00T 2的少样本适配研究选取了50项任务,筛选条件是模型用五次示范学习后能达到至少80%的成功率。这些任务曾出现在人类视频或其他机器人数据中,目标机器人没有相应任务训练数据时,平均成功率为40%;每项加入五次示范,分别在单张RTX 5090上微调约30分钟后,平均成功率达到95%。

这说明,在模型已经具备学习基础的任务上,少量适配数据就可能带来明显改善。专业团队可以据此检验,自己是否能减少重复采集,把新增示范用在仍然容易出错的操作上。

OpenAI此前的数据实验室和硬件研发,也为这类检验提供了条件。通用模型在实体设备上执行时,研究人员能看到它在哪里判断失误、哪些动作仍然难以完成,再据此调整模型或系统。

Generalist联合创始人Pete Florence在《财富》交流中说,智能的发展可能有不同的起点,现有哪一个模型最终会主导机器人,仍不清楚。

通用模型越容易获得,“有自己的模型”就越需要对应明确的使用收益。机器人企业可以利用外部模型,也可以继续训练自己的动作能力;研发上的选择,最终要落实到客户少花多少适配时间、机器人能否稳定完成工作。

OpenAI把机器人研究并入主研究体系,是在押注同一套通用智能还能扩大作用。专业团队则需要让模型在真实设备上更快学会工作,并且反复做成。客户更换工件或增加工序时,还要投入多少重新适配的工作,会影响机器人从一个试点进入下一处现场的速度。

-END-

点击查看全文
评论赞0 分享
轨迹
OpenAI 人形机器人 通用模型

欢迎关注我们!

版权所有:上海恩翌信息科技有限公司
联系人1:NE时代-小恩
联系电话:188-1775-0862
备案许可号:沪ICP备17041240号-4
RSS 订阅通过rss订阅最新文章