[论文解读] Unsupervised Object-Based Transition Models for 3D Partially Observable Environments

Antonia Creswell, Rishabh Kabra+2 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Vision and Imaging被引用 8

一句话总结

该论文提出了一种无监督的、基于物体的过渡模型——物体对齐过渡（Objects-Align-Transition, OAT），该模型通过使用逐槽记忆和对齐模块，在3D部分可观测环境中保持物体身份和持续性的稳定性。与基于像素级损失的模型相比，OAT采用逐物体损失进行端到端训练，显著提升了长时程轨迹预测的准确性，尤其在物体遮挡和重新出现时表现更优。

ABSTRACT

We present a slot-wise, object-based transition model that decomposes a scene into objects, aligns them (with respect to a slot-wise object memory) to maintain a consistent order across time, and predicts how those objects evolve over successive frames. The model is trained end-to-end without supervision using losses at the level of the object-structured representation rather than pixels. Thanks to its alignment module, the model deals properly with two issues that are not handled satisfactorily by other transition models, namely object persistence and object identity. We show that the combination of an object-level loss and correct object alignment over time enables the model to outperform a state-of-the-art baseline, and allows it to deal well with object occlusion and re-appearance in partially observable environments.

研究动机与目标

• 解决现有过渡模型在处理部分可观测3D环境中物体持续性和身份识别方面的局限性。
• 通过基于解耦的、以物体为中心的表征而非原始像素，提升长时程视频预测性能。
• 通过建模物体在遮挡期间的连续性，实现对训练时长之外的准确轨迹预测。
• 证明物体级损失与时间对齐机制在视觉世界建模中实现鲁棒泛化能力的必要性。

提出的方法

• 模型使用MONet作为场景分解与物体表征模块，从输入图像中生成逐槽物体特征。
• 对齐模块利用逐槽记忆机制，确保物体在时间维度上始终由同一槽位表示，即使在短暂遮挡期间亦如此。
• 基于对齐表征，采用基于Transformer的逐槽过渡模型（结合逐槽LSTM）预测未来物体状态。
• 整个模型通过物体级损失进行端到端无监督训练，损失通过匈牙利算法计算，用于匹配预测物体与真实物体。
• 物体级损失直接作用于表征向量，避免了像素重建的需要。
• 对齐机制使模型能够追踪物体身份与持续性，即使物体长时间不可见亦可保持稳定。

实验结果

研究问题

• RQ1 无监督的基于物体的过渡模型能否在部分可观测的长序列中保持物体身份与持续性的稳定性？
• RQ2 与像素级损失相比，使用物体级损失是否能提升泛化能力与长时程预测的准确性？
• RQ3 物体槽位的时间对齐机制在遮挡或动态环境中对性能有何影响？
• RQ4 该模型能否泛化至包含长期遮挡与复杂交互的现实世界机器人轨迹？

主要发现

• 在模拟的3D环境中，OAT在长达15步的长时程轨迹预测中优于当前最先进模型OP3，尤其在物体遮挡与重新出现时表现更优。
• 消融实验表明，物体级损失与对齐机制均不可或缺——缺少任一模块的模型均无法准确预测物体重新出现，或产生模糊、不准确的输出。
• 在真实机械臂数据集中，OAT成功预测了完全被遮挡长达51个时间步的红色物体的重新出现，证明了其对物体持续性的鲁棒建模能力。
• 当展开预测达100步（远超6步的训练时长）时，OAT仍能准确预测机械臂运动与物体交互行为。
• 采用像素级损失训练的模型预测结果随时间推移逐渐模糊，而物体级损失能有效保持结构清晰度与身份一致性。
• 逐槽对齐与物体级损失的结合，使模型能够泛化至未见过的物体配置与长期依赖关系。