◎ 世界模型，如何走进机器人？

△ 撰文：董志洋

李飞飞给Atlas看了8张斯坦福主广场的照片，模型还原出草地、拱廊和周围的建筑，却漏掉了纪念教堂，原因是输入照片里没有拍到它。

而增加到33张照片，其中一张包含教堂，重建结果才把这座建筑补上。这些照片都由人站在地面手持拍摄，Atlas却能生成从空中俯瞰广场的画面。

11月11日，在机器人学习大会CoRL上，World Labs联合创始人兼CEO李飞飞用这组对照，解释统一世界模型Atlas怎样在生成和重建之间工作。随后，她与AMD董事长兼CEO苏姿丰同台对谈，由Peter Stone主持。

两家公司已经宣布一笔约82亿美元（约合人名币547亿元）的收购交易，李飞飞将在交易完成后担任AMD执行副总裁兼首席科学家。这次同台给出了理解这笔交易的另一条线索：当模型开始生成、重建和模拟真实空间，芯片公司要提前知道，它接下来究竟需要怎样的计算。

▎同一个模型，生成与重建一起做

Atlas用同一套架构和训练方案，既重建真实场景，也生成想象中的场景。输入可以是文本、照片、视频，也可以是深度信息或粗略的三维布局，Atlas据此生成新视角画面，并支持显式三维输出。

△ Atlas支持多种输入，并将生成与重建放进同一个模型

此前三维重建的一项重要前提，是从足够多的角度拍到场景。照片覆盖得密，研究人员就有更多依据恢复物体表面和空间关系，没拍到的区域则缺少约束。

多视图生成模型走了另一条路：它们可以生成没有拍到的角度，但不同视角之间保持几何一致并不容易，有些方法每次去噪只能处理预先确定的一组目标视角，想增加新视角又要重新计算。

Atlas试图把这两类工作的长处放到一起：输入充分时重建，输入稀疏时补出未见视角，只有文字时直接生成。斯坦福广场的例子，还展示了比8张照片更少的输入条件。

只给两张照片，模型也能生成一座有草地、有拱廊的广场，但李飞飞指出，这不是斯坦福真正的主广场。增加到8张，布局大体接近，教堂仍然没有出现；增加到33张，模型才恢复出包含教堂的广场。

生成能力能补完整画面，真实观测则帮助模型还原具体地点。从两张照片到33张照片，Atlas恢复的斯坦福广场逐渐接近实景，差别就体现在教堂这样的具体建筑上。

△ 2张、8张、33张照片的重建结果依次播放，保留原演示的输入标注

支撑这套方法的，是从零预训练的多模态自回归扩散Transformer。李飞飞借用语言模型的“下一个词元预测”来解释Atlas，把重点落在预测新的观察视角上。

Atlas把已有画面和相应相机位姿放进共同的空间上下文，也可以先从输入图像估计位姿。使用者再指定新的观察位置与朝向，模型据此生成画面。它可以沿已拍位置之间的路径补视角，也可以向外扩展，演讲中花园小机器人的绕行镜头和广场的鸟瞰画面，分别展示了这种控制。

使用者可以指定一条绕行路径，从不同角度观察同一个场景，再检查物体的位置和外形是否一致。斯坦福广场的鸟瞰演示，则把观察位置移到了地面拍摄没有覆盖的空中。

△ 指定绕行路径，观察同一花园机器人的不同角度。

在Rapidata的相机运动评测中，Atlas取得第一，评测覆盖19个模型、600个提示，收集了超过51万次人工判断。Atlas支持生成1440p、最长60秒的相机受控视频，李飞飞在现场又介绍了新进展：保持空间一致的视频已经能持续超过一分钟。

△ 相机运动评测榜单。

三维重建还接受另一类检验：画面中的远近关系能否恢复准确？在给定真实相机位姿的条件下，Atlas在7个数据集上的平均深度误差，比排名第二的方法低12.4%。

团队也测试了拿不到真实相机位姿的情形。这一组先用VGGT-Ω估计位姿和相机内参，再交给较早版本的Atlas，按AbsRel×10⁻³统计的平均深度误差为33.8；同组的Pi3与VGGT-Ω 1B分别为35.7和38.2，误差越低，预测越准确。这类测试对应的是研究人员拍完照片之后，还需要估计照片究竟从什么位置拍下的问题。

△ 上、下两组分别对应真实位姿与估计位姿，深度误差越低越好。

用生成视角辅助高斯重建，也取得了改善。在6个数据集上，团队分别使用4张、8张和16张照片作为输入，再生成同等数量的新视图辅助高斯重建。两项越低越好的感知误差指标LPIPS、DISTS，平均值从0.293、0.105降到0.284、0.0987。

△ 增加生成视角辅助高斯重建，LPIPS与DISTS两项误差下降。

另一组曲线直接改变真实输入的数量，在Mip-NeRF 360和DL3DV-140上，从2个视角一路增加到128个，观察重建误差怎样变化。模型补充新视角可以帮助重建，增加真实照片也仍然能带来改善。

△ 输入视角从2个增加到128个，两套数据上的重建误差变化。

这种能力不只面向机器人。Atlas能根据8张照片重建一间公寓，让创作者沿不同路径观察，也能把互不相干的两幅画面连接成幻想空间，或把几何块搭成的粗略布局生成完整场景。

△ 8张输入照片重建公寓，演示沿不同路径观察。

△ 从粗略的建筑灰盒生成完整场景。

▎把真实场景搬进训练环境

在介绍模型之前，李飞飞先问了一个机器人问题：知道当前世界状态、任务目标和机器人本体，它下一步该做什么？

无论用策略学习还是智能体，机器人都得理解环境、预测动作后果，并为训练和评估准备足够多的场景。她把这些需求与世界模型的渲染、规划和仿真联系起来，Atlas主要展示了怎样恢复环境的几何结构，以及怎样模拟随时间变化的场景。

把真实房间恢复成可用于仿真的空间，研究人员就能先安排虚拟练习，再检查机器人转到真实房间后做得怎样。

导航演示按这个顺序展开：恢复环境、建立仿真，让机器人在里面学习如何通行，还可以更换机器人本体，观察它怎样在同一个空间里移动。

△ 空间重建、建立仿真、导航与更换本体的演示

操作任务则涉及物体接触和形变。李飞飞展示了团队已有的Real-to-Sim-to-Real成果，包括柔性线缆插入、精密管件插入、双臂布线、物体分离、精密分拣，以及弹塑性盒子的操作，机器人在虚拟环境训练后，以零样本方式进入真实环境执行任务。

导航要让机器人走到目标位置，插接还得让机械臂带着零件接近接口、完成接触。研究人员因此需要围绕具体本体和目标安排训练，再回到真机上检查虚拟练习的效果。

团队正在把这些Real-to-Sim-to-Real工作与Atlas进一步结合，扩大世界模型在机器人训练中的用途。

△ 团队已有的Real-to-Sim-to-Real成果，正在与Atlas进一步结合

△ 放大原演示中的管件插入片段，保留原片播放节奏

Atlas也在处理会变化的世界。团队在办公室用三部iPhone拍下动态场面，再重建空间和时间中的变化，生成《黑客帝国》式的“子弹时间”镜头；结合语言模型，还可以为场景加入语义信息，用于设计与机器人仿真。

△ 左侧为幕后拍摄，右侧为重建后的动态场景和变化视角

创作者可以用这种时空重建重新安排镜头，机器人团队则尝试把重建结果和场景语义一起用于训练环境。

到了实时交互，团队通过蒸馏，让Atlas以15 FPS运行，演示者可以即时控制场景漫游。李飞飞还预告会很快进一步开放Atlas，供创作者用于相机控制、物体交互和实时导航。

△ Atlas蒸馏后的实时交互生成演示

在后续对谈中，她认为机器人进展慢于语言模型，是因为这类问题连接物理世界、难度很高；但现在看到的拐点和上升趋势是真实的。她强调，这类需求会同时出现在模型训练和边缘计算中。

▎模型要落地，芯片也得跟着变

世界模型怎样与计算平台结合，是苏姿丰解释收购动机时的重点。她判断，物理AI、尤其机器人，将在未来几年带来数千亿美元级机会，未来5至10年会成为重要方向。

硬件设计要提前多年进行，模型将处理哪些任务、采用怎样的计算方式，都会影响下一代计算平台的设计。苏姿丰认为，硬件、软件和系统的共同优化，尤其适用于机器人。

李飞飞给出了一个更直接的表达：“AI就是计算，计算就是AI。” 在她看来，模型与计算的关系已经发生变化，语言模型、世界模型和多模态模型正在汇合，需要硬件与软件共同演进、共同设计。

她还强调，AI同时是研究对象和研究工具，做科学越来越需要不同领域的团队合作。结合World Labs与AMD的力量，在她看来也是一次“团队科学”的选择；苏姿丰则希望借此把AMD的生态扩大到机器人研究者。

苏姿丰对部署的描述则更加具体：云端要训练大模型，企业、边缘和实际物理环境也都需要计算。模型有不同大小，计算平台也会有不同形态，部署时必须把硬件、软件和系统一起优化。

Atlas的实时蒸馏演示，正好说明开发中为什么会有不同选择。交互运行时，一帧画面生成得太慢，就跟不上使用者的操作；模型到了机器人上，团队还得同时考虑功耗和动作响应。

当观众问AMD是否会建立机器人团队，苏姿丰的第一句话是：“你们假定我们还没有。”

她介绍，AMD已经开展了相当规模的物理AI与机器人研究，虽然相关工作还处于早期。FPGA、嵌入式处理器和AI引擎已经用于工业环境中的机器人，而在机器人学习方面，公司希望进一步投资研究、扩大生态联系，这也将是李飞飞未来新职务的重要工作。

能效并没有因为算力需求旺盛而退出讨论。Peter Stone提出，人脑用较低功耗和较少数据学习，能否以更少的资源取得相近表现，是学生值得研究的方向，哪怕这看起来未必符合多卖芯片的生意。

苏姿丰认同这项研究的重要性：低功耗、更高效率、更长的持续工作时间和更低时延，都需要优化，计算不可能用同一种规格满足所有物理环境。

李飞飞则提醒，不宜把人脑运行时约20瓦的功耗直接同模型训练能耗比较，人类能力的形成还经历了漫长演化。她也认为，理解大脑与研究AI不是同一道问题，AI可以帮助写代码、生成仿真、让机器人完成一些超出人的能力范围的任务，不必逐项复制大脑。

▎基础模型越强，哪些问题还没解？

基础模型进展如此快，机器人最终是否会由一个端到端模型解决？面对这个问题，李飞飞既肯定了会议中前沿成果的进步，也没有给出一条已经确定的路线。

她判断，大语言模型、视觉语言模型驱动的机器人会发挥越来越大的作用，但仍有需要复杂推理与规划的问题有待研究。她说，“我不认为我们已经完全解决了system2的问题”，物理AI还有一些问题尚不清楚根本解法。作为研究人员，选哪条路线下注仍让她紧张，多种方向的进展也让方法结合变得值得探索。

而演讲末尾的BEHAVIOR挑战赛，提供了理解这种判断的另一组数字。第二届挑战赛的任务从50项增加到100项，场景从3个增加到7个，参赛人数从96人增加到265人，提交数量从18份增加到57份，最佳全任务成功率从12%提高到48%。

△ 挑战赛任务与场景扩大，最佳全任务成功率从12%提高到48%

与此同时，另一项Embodied First Exam评测仍显示，机器人相关任务对智能体很难。在其中71项BEHAVIOR-1K任务上，7个智能体的平均成绩为5%，同一评测其余361项任务的平均成绩为15%。

△ 另一项评测：黑条对应71项BEHAVIOR-1K任务，灰条对应其余361项题目

挑战赛规模扩大、最佳成绩上升，说明这一研究方向在进步；另一项评测中具身任务的低分，则让李飞飞关于未解问题的判断有了具体参照。

对于模型选择的问题，苏姿丰认为不同应用会需要不同类型的模型。有些地方前沿大语言模型会表现很好，另一些任务上，更专门的模型可能在成本、功耗和时延方面占优。

此外，苏姿丰还把模型选择落在运行成本、功耗和时延上，这与她前面关于不同形态计算平台的判断相互对应。一次推理能花多少钱、任务能等多久，会影响开发团队采用哪类模型。

她也不认同AGI已经近在眼前的说法。AI工具取得了巨大进展，但能解决什么问题，仍取决于人如何给它任务、如何引导它。

这种多路线判断，也体现在她对产业组织的看法里。没有一家公司能独自完成整个技术栈，创业公司、工业实验室、大学和大型企业各有作用，AMD希望通过开放生态、硬件与软件合作，加快机器人进入制造和工业应用。

▎研究不能只等企业出产品

讨论谁来继续研究这些问题时，李飞飞谈到了大学和非营利机构面临的算力短缺。

她认为，在AI发展的关键阶段，没有充分支持公共科研，是一项重大缺失。公共部门既承担好奇心驱动的探索和下一代人才培养，也要独立理解、评测AI，在安全与责任问题上向公众和政府说明这些模型能做什么、有哪些问题。

独立评测也需要计算资源。大学和非营利机构要比较模型表现、研究安全问题，不能只依赖开发者展示的结果，得有条件自己做实验。

苏姿丰承认，当前计算需求超过供给，但仍应把一部分资源留给长期研究、大学和下一代创新者。她希望AMD参与兑现这种支持，也把李飞飞未来作为首席科学家的工作与此联系起来。

算力之外，研究需要的还有时间。被问到AI时代是否仍该读博士，李飞飞说：“我不认为博士适合每个人。” 学习工具和软件工程已经变化，成为研究者、做创新、产生影响的路径比过去更多，博士仍是其中一条有价值的路。

她看重博士阶段为研究者保留的探索时间，让人可以追问那些大胆、重要、自己真正想弄明白的问题。AI越发展，人类的判断力和求知欲仍然珍贵，她鼓励真正有这种愿望的人，坚定地研究自己想弄明白的事。

苏姿丰强调了博士训练留下的领域直觉。具体题目会变，AI工具也会变，深入解决过问题的人，能判断接下来该往哪里走；企业急于更快推出产品和模型，大学给探索留下的时间便更难替代。

对谈最后，两人把建议落回研究者自身。李飞飞强调在变化中保持好奇心、诚信和求真，苏姿丰则提起自己年轻时在IBM获得、此后一直记得的一条建议：“始终迎向最难的问题。”

Atlas把真实观测、场景生成和机器人仿真接到了一起，AMD则希望让模型研究更早参与计算系统设计。具体应用仍需要逐项做实验，检查少量照片建立的训练环境是否可用、换个本体后虚拟训练还能带来多少帮助。企业需要投入工程资源，大学和研究机构也需要算力与探索时间。两人在台上谈到的那些未解问题，要靠这些研究继续寻找答案。

-END-