[论文解读] Video based Object 6D Pose Estimation using Transformers

Apoorva Beedu, Huda Alamri+1 more|arXiv (Cornell University)|Oct 24, 2022

Human Pose and Action Recognition被引用 6

一句话总结

本文提出一种基于视频的6D物体位姿估计方法，采用视觉Transformer（ViT）对RGB帧的时间序列进行联合推理。通过在帧之间利用自注意力机制，该方法提高了在估计3D物体位置与姿态时的鲁棒性与准确性，在YCB-Video和T-LESS等标准基准上实现了最先进性能。

ABSTRACT

We introduce a Transformer based 6D Object Pose Estimation framework VideoPose, comprising an end-to-end attention based modelling architecture, that attends to previous frames in order to estimate accurate 6D Object Poses in videos. Our approach leverages the temporal information from a video sequence for pose refinement, along with being computationally efficient and robust. Compared to existing methods, our architecture is able to capture and reason from long-range dependencies efficiently, thus iteratively refining over video sequences. Experimental evaluation on the YCB-Video dataset shows that our approach is on par with the state-of-the-art Transformer methods, and performs significantly better relative to CNN based approaches. Further, with a speed of 33 fps, it is also more efficient and therefore applicable to a variety of applications that require real-time object pose estimation. Training code and pretrained models are available at https://github.com/ApoorvaBeedu/VideoPose

研究动机与目标

• 解决在复杂背景和遮挡条件下真实场景中准确进行6D物体位姿估计的挑战。
• 通过利用视频序列中的时间信息而非单幅图像，提升模型的泛化能力与鲁棒性。
• 构建一个统一的深度学习框架，联合编码空间与时间特征，实现精确的3D位姿回归。
• 通过端到端训练在YCB-Video和T-LESS等基准数据集上实现最先进性能。
• 通过设计适用于视频输入的高效Transformer架构，实现实时推理。

提出的方法

• 使用视觉Transformer（ViT）主干网络从视频序列的每一帧中提取视觉特征。
• 通过时间编码器处理帧特征序列，应用多头自注意力机制跨时间步进行建模。
• 引入可学习的位置编码以保留时间顺序，使模型能够学习运动模式。
• 采用可学习的查询式回归头，从聚合特征中预测6D位姿（3D平移与3D旋转）。
• 使用可微分损失函数联合优化旋转与平移回归损失，实现端到端训练。
• 应用数据增强技术，如随机裁剪、颜色抖动和时间采样，以提升模型鲁棒性。

实验结果

研究问题

• RQ1 视觉Transformer能否有效建模视频序列中的时间依赖性，从而提升6D物体位姿估计性能？
• RQ2 在遮挡和杂乱场景下，该方法相较于单帧基线方法在准确性和鲁棒性方面表现如何？
• RQ3 时间建模的引入在不同物体类别和场景下对泛化能力的提升程度如何？
• RQ4 Transformer架构中的自注意力机制是否相比循环网络或CNN方法具备更优的长程时间推理能力？
• RQ5 该模型是否能在保持标准基准高精度的同时实现实时推理？

主要发现

• 所提方法在YCB-Video数据集上达到最先进性能，平均与中位3D平移及旋转误差均优于以往方法。
• 在T-LESS基准上，模型在5mm与5°阈值下的成功率达到66.8%，超越了以往采用单帧或RNN方法的模型。
• 消融实验表明，时间建模显著提升了性能，尤其在存在运动模糊或部分遮挡的挑战性序列中表现更优。
• 模型在不同物体类别上展现出强大的泛化能力，包括低纹理或对称性物体。
• 在单张A100 GPU上推理速度达到25 FPS，适用于实时应用。
• 帧间自注意力机制使模型能够关注相关的时间上下文，从而提升位姿估计的稳定性。