NE时代

◎ 机器人也开始卷上下文。

△ 撰文：DONG.ZY

7月15日，NVIDIA联合斯坦福大学、得克萨斯大学奥斯汀分校发布RoboTTT，将机器人策略的视觉运动上下文扩展到8000个时间步。

按照论文采用的30Hz控制频率计算，8000个时间步约为4分27秒，项目团队将其概括为“约5分钟的肌肉记忆”。

，时长01:53

作为论文共同指导者，NVIDIA研究员Jim Fan将RoboTTT的变化概括得更直接：过去的机器人策略通常只处理几帧画面，能够利用的历史不足0.1秒；RoboTTT把这一范围推进到8000个时间步，相当于让机器人保留一段数分钟的操作经历。

每一条新的传感器信息都会推动模型内部的小型网络更新，历史由此被持续压缩进快速权重，机器人在部署后仍能根据刚刚发生的过程调整后续动作。

目前，多数机器人基础模型主要根据当前画面或少量历史帧生成动作，这套机制可以支持抓取、放置等短任务，但连续操作会引入另一类问题。

机器人既要判断眼前该做什么，也要记住零件是否已经安装、上一动作是否成功，以及当前处于整条任务链的哪一段。

RoboTTT设置了一个持续约5分钟、包含10个阶段的Gear Bot装配任务。在10次测试中，RoboTTT完整完成2次，其他对照方法均未完成全部流程。

这项研究把机器人的“记忆”从几帧画面延长到一段完整的操作经历，也给机器人基础模型增加了一条新的扩展方向：上下文长度。

◎RoboTTT展示的四项能力：长流程操作、一次人类视频模仿、在线纠错与外部扰动恢复。 

01.

8000个时间步，让机器人记住任务进度

RoboTTT基于NVIDIA GR00T N1.7构建，研究团队在GR00T N1.7的16层DiT动作头中加入TTT层，没有另行训练一套独立的机器人基础模型。

TTT即测试时训练，RoboTTT在模型内部设置了一组“快速权重”，机器人每获得一次新的视觉、状态和动作信息，这组权重便通过梯度下降更新。

GR00T N1.7原有的基础参数在推理阶段保持不变，机器人刚刚经历的操作过程则被持续压缩进快速权重所构成的小型神经网络。

这套机制给现有VLA增加了一种动态记忆，机器人不必在每一步重新读取全部历史画面，模型会把有用的信息保存在固定大小的参数状态中。

快速权重的大小不会随着执行时间增长，因此RoboTTT的单步推理开销不随上下文长度增加。

持续保留全部历史的Transformer则需要处理越来越长的上下文，即使使用KV Cache，推理开销也会增长。 

◎RoboTTT的训练与推理流程。推理期间，TTT层持续更新快速权重，并将历史信息压缩进固定大小的模型状态。 

为训练8000步长序列，研究团队采用序列动作强制和截断式时间反向传播。前者为不同动作块独立设置噪声水平，后者将轨迹拆分训练，同时让快速权重跨越片段继续传递。

RoboTTT使用桌面双臂机器人数据和第一视角人类视频进行预训练，共训练3万步，单次预训练使用16张NVIDIA GB200 GPU，模型随后针对下游任务进行2万步后训练。

实验使用YAM双臂桌面机器人，配置顶部、底部和左右手腕四台RealSense D405相机，推理运行在一台搭载NVIDIA RTX 5090的工作站上，控制频率为30Hz。

研究团队设置了三项真实装配任务：Pup Go Car需要装配玩具车，平均执行时间约2分钟；Circuit要求机器人按照指定配置组装电路板，平均约1分钟；Gear Bot包含10个阶段，平均约5分钟。

◎RoboTTT的三项双臂装配评测任务：Pup Go Car、Circuit和Gear Bot。 

三项任务分别采集了8小时、6小时和5小时真实机器人数据。

RoboTTT在三项任务中的平均完成分为79%，单步上下文版本GR00T N1.7为42%，采用循环记忆的GDN为56%。按照论文口径，RoboTTT分别提高87%和41%。

在完整成功次数上，RoboTTT在Pup Go Car、Circuit和Gear Bot中分别完成9/20、13/20和2/10。

GR00T N1.7分别为3/20、3/20和0/10，GDN分别为3/20、8/20和0/10。

◎三项装配任务的任务完成分对比。

◎Gear Bot完整装配过程，覆盖齿轮和车轮安装、车体翻转、机器人头部安装及遥控行驶。 

长上下文在多阶段装配中的直接用途，是帮助机器人判断任务进度。

连续装配中的不同阶段可能呈现相似画面，零件是否已经插入、螺钉是否已经拧紧，有时无法仅凭当前观察确定。

论文记录了短上下文模型执行错误动作或跳过步骤的情况，RoboTTT会结合过去的观察和动作判断当前阶段；当目标物体被机械臂或其他零件遮挡时，它也可以使用此前视角提供的信息。

◎Pup Go Car的多阶段操作序列，包括安装车顶、车轮、钻孔、双臂传递和翻转车体。 

简单增加历史画面没有稳定改善表现。

在Pup Go Car任务中，增加一帧历史的GR00T N1.7 Hist.完成分为39.5%，低于只使用当前观察的GR00T N1.7的57%。

历史画面可能引入错误关联。RoboTTT要解决的核心问题，是从密集、重复的机器人数据流中筛选信息，并在后续步骤中重新调用。

02.

上下文长度成为机器人模型的新扩展轴

研究团队分别预训练了128、256、512、1000、2000、4000和8000时间步的RoboTTT，并在三项真实机器人任务中进行闭环测试。

RoboTTT的平均任务完成分随预训练上下文长度总体持续上升，8000步版本达到71.5%，1000步版本为43.9%。

8000步版本比1000步版本提高约63%，比最佳短上下文基线的45.6%高约57%。

RoboTTT从1000步开始超过最佳短上下文模型，到8000步时，任务完成曲线仍未出现明显饱和。

◎随着预训练上下文从128扩展至8000个时间步，RoboTTT的平均任务完成分持续上升。 

GDN没有出现相同趋势，虽然GDN同样把历史压缩进固定大小的循环状态，但增加上下文长度没有持续改善其闭环表现。

两种方法的主要区别在于状态更新方式：GDN使用线性关联规则，RoboTTT则通过梯度下降更新一个两层MLP。

RoboTTT的快速权重初始状态和更新过程还会在长序列训练中得到优化。

消融实验显示，将两层MLP替换为线性层后，任务表现下降27%。

当TTT层在状态信息之外进一步处理历史动作时，任务表现相对提高23%；继续加入用于传递视觉语言信息的寄存器token后，表现再次相对提高18%。

相同数量的寄存器token直接加入普通GR00T N1.7时没有带来提升。

◎Pup Go Car任务上的消融实验，比较序列动作强制、快速模型结构以及不同token设计。

机器人既要保留过去看到的环境，也要记录自身动作，只有把两者放进同一段连续经历，模型才有机会判断环境变化是否由上一动作引起。

RoboTTT的结果显示，有效上下文长度可以成为机器人基础模型的一项扩展指标。

模型参数、训练数据和本体覆盖决定机器人掌握多少能力，上下文则影响机器人能否在长流程中持续使用这些能力。

这条路径与工业操作关系密切，装配、检测和返修通常包含多个连续步骤，机器人必须确认上一步的结果，再决定下一步动作。

任务越长，任务进度和历史状态的作用越明显。

03.

一次人类示范，也能直接写进机器人的上下文

Circuit任务包含约80种电路板配置，变化内容包括零部件类型、装配顺序和零件数量。研究团队使用20种配置训练，在剩余60种配置上测试。

◎Circuit任务中的不同装配配置，包括左右顺序互换以及三零件装配。

一次性模仿实验开始前，人类先在机器人面前完成一遍电路板装配，演示结束后，研究人员重置场景，机器人根据刚刚看到的视频复现相同配置。

所有配置使用相同的“assemble circuit”指令，语言没有提供零件种类和装配顺序，机器人只能从人类视频中识别目标配置。

RoboTTT在10次测试中完整成功6次，任务完成分为65%。GDN的任务完成分为33%，完整成功0次。

◎人类演示一种未见过的电路装配配置，场景重置后，RoboTTT根据上下文视频执行对应装配。 

人类视频在这项实验中承担了现场任务提示的作用，模型先把演示内容压缩进快速权重，再在机器人执行过程中读取其中的配置和顺序信息。

论文只在Circuit任务和未见装配配置上验证了这项能力，实验结果不能直接扩大到任意人类视频或任意机器人任务。

这项实验仍然提供了一种新的示教思路：人类可以通过一次现场演示告诉机器人“这次应该做什么”，模型不必为每种配置单独修改语言指令。

04.

机器人刚刚犯下的错误，也能指导下一次重试

RoboTTT还测试了外部干扰后的恢复能力。

在Pup Go Car任务中，研究人员会在机器人安装车顶或轮胎后将其移除，要求机器人回到此前阶段重新安装。

RoboTTT在车顶移除测试中成功恢复15/20次，在轮胎移除测试中成功恢复18/20次。单步GR00T N1.7分别为10/20和11/20。

◎车顶和轮胎被移除后，各模型成功重新安装零件的次数，每种条件测试20次。 

在拧紧车顶螺钉的测试中，RoboTTT第一次未能对准目标。模型随后抬起机械臂、重新调整位置并再次尝试；第二次仍有偏差后，模型继续修正并完成操作。

部分短上下文模型会在钻孔失败后直接进入下一阶段，如同此前动作已经完成。

◎RoboTTT在拧紧车顶螺钉时连续失误，随后重新调整动作并完成操作。 

为训练这种恢复行为，研究团队提出DAgger Distillation。

训练时，机器人执行的错误动作只用于更新快速权重，人工接管后的纠正动作才用于计算模仿损失。

错误动作向模型提供了问题现场，人工动作则给出了对应的处理方式，模型由此学习一组“失败状态到纠正动作”的关系。

◎DAgger Distillation将机器人动作保留为上下文，用于更新快速权重；模仿损失只计算在人类纠正动作上。

研究团队汇总了100条DAgger轨迹，其中50条由RoboTTT采集，另外50条由GR00T N1.7采集。

标准DAgger对四种模型的平均提升为9%。DAgger Distillation对RoboTTT和GDN两种序列模型平均提升33%，其中RoboTTT提升36%，GDN提升29%。

◎Pup Go Car任务上的DAgger训练结果，比较DAgger Distillation、仅使用人类纠正动作、使用完整轨迹及训练前表现。

将错误动作直接作为模仿目标没有产生相同收益。GR00T N1.7使用完整轨迹训练和只使用人工纠正动作训练，任务完成分均为57%。

失败轨迹的用途由此变得明确：模型不应复制错误动作，但可以利用错误发生前后的过程判断接下来该如何修正。

Jim Fan更关注的是RoboTTT呈现出的上下文扩展曲线。

从128个时间步增加到8000个时间步，模型的闭环任务完成分持续上升，尚未出现明显饱和。

他据此提出，语言模型通过扩大上下文获得的能力增长，也可能在机器人模型上出现，并将百万级上下文视为后续可以继续探索的方向。

这项判断把RoboTTT的意义从单项任务表现推向了模型扩展方式：机器人的能力不仅取决于训练阶段学会了多少动作，还取决于部署时能够保留多长的真实经历，以及能否把这些经历转化为下一步操作。

但是，RoboTTT仍有明确边界。

实验集中在一套YAM双臂平台和三项桌面装配任务；扩大预训练上下文会增加训练成本；论文也表示，模型尚不能处理部署中的所有失败模式。

不过，RoboTTT已经把机器人上下文从几帧画面扩展到数分钟的操作过程。

在论文设置的任务中，这段历史帮助机器人判断进度、读取一次人类示范，并在动作失败后重新尝试。

当机器人进入更长的工业流程，模型的价值将越来越取决于它能否利用刚刚发生的真实操作，而不仅是生成眼前的下一步动作。