[论文解读] RoboBrain 2.5: Depth in Sight, Time in Mind

Huajie Tan, Enshen Zhou+33 more|arXiv (Cornell University)|Jan 20, 2026

Robot Manipulation and Learning被引用 0

一句话总结

RoboBrain 2.5 引入精确的三维空间推理和密集的时序价值估计，用于具身AI，使深度感知的操作与从单目 RGB 输入的逐步进展追踪成为可能。

ABSTRACT

We introduce RoboBrain 2.5, a next-generation embodied AI foundation model that advances general perception, spatial reasoning, and temporal modeling through extensive training on high-quality spatiotemporal supervision. Building upon its predecessor, RoboBrain 2.5 introduces two major capability upgrades. Specifically, it unlocks Precise 3D Spatial Reasoning by shifting from 2D pixel-relative grounding to depth-aware coordinate prediction and absolute metric constraint comprehension, generating complete 3D manipulation traces as ordered keypoint sequences under physical constraints. Complementing this spatial precision, the model establishes Dense Temporal Value Estimation that provides dense, step-aware progress prediction and execution state understanding across varying viewpoints, producing stable feedback signals for downstream learning. Together, these upgrades extend the framework toward more physically grounded and execution-aware embodied intelligence for complex, fine-grained manipulation. The code and checkpoints are available at project website: https://superrobobrain.github.io

研究动机与目标

• 通过为感知与规划增加物理绑定来弥合具身AI的可靠性差距。
• 通过深度感知绑定与操作追踪实现从单目输入的精确三维空间推理。
• 提供密集、逐步的时序价值估计以引导闭环执行与学习。
• 实现对遮挡与视角变化具鲁棒性的多视图进度估计。
• 在二维/三维空间和时序基准及真实世界任务上达到最先进水平。

提出的方法

• 开发精确的三维空间推理，包含通过解耦的（u,v,d）表示进行三维空间指称、测量与追踪，该表示可结合相机内参转换为3D。
• 将三维空间追踪表述为从视觉和文本输入预测有序的三维点序列 p_t = (u_t,v_t,d_t)。
• 引入密集的时序价值估计，以通过多视角监督的跳步进展来预测从视觉观测中的执行状态。
• 通过三阶段数据获取管线和归一化的跳步进展度量实现跳步进展构造，使全局进度保持在 [0,1]。
• 使用多视角进展融合（增量型、前向锚定型、后向锚定型）并对其进行平均以获得鲁棒的进度估计。
• 应用双向一致性检查并加入置信权重，以缓解OOD奖励漏洞攻击并为强化学习提供保守的状态更新。

实验结果

研究问题

• RQ1 如何从单目RGB学得深度感知的绑定，以产生物理上可行的三维空间轨迹？
• RQ2 是否可以通过密集、逐步的时序价值估计为长时域的具身任务提供可靠、视角鲁棒的反馈？
• RQ3 多视角融合与双向一致性在遮挡或新颖状态下是否能改善时序价值估计？
• RQ4 哪些数据、训练策略和架构最能支持空间与时序具身智能的整合？

主要发现

• 该模型在二维空间、三维空间和时序基准上达到最先进水平（如所述）。
• RoboBrain 2.5 在真实世界评估中的接触密集任务展现零-shot 鲁棒性。
• 深度感知的三维空间推理与密集时序价值估计使具身操控更具物理绑定性与执行感知性。
• 一个解耦的（u,v,d）表示支持鲁棒的三维绑定，与跨数据集的多任务学习兼容。
• 密集时序价值估计提供密集的任务进度信号，提升强化学习引导与闭环控制。