[论文解读] RePOSE: Real-Time Iterative Rendering and Refinement for 6D Object Pose Estimation.

Shun Iwase, Xingyu Liu+3 more|arXiv (Cornell University)|Apr 1, 2021

Human Pose and Action Recognition被引用 8

一句话总结

RePOSE 提出了一种实时 6D 物体位姿估计方法，通过使用浅层多层感知机直接渲染深度特征图像，绕过昂贵的 CNN 推理，从而加速迭代位姿精炼。其在 Occlusion LineMOD 数据集上实现了 71 FPS 和 51.6% 的准确率，相比之前的方法绝对提升了 4.1%。

ABSTRACT

The use of iterative pose refinement is a critical processing step for 6D object pose estimation, and its performance depends greatly on one's choice of image representation. Image representations learned via deep convolutional neural networks (CNN) are currently the method of choice as they are able to robustly encode object keypoint locations. However, CNN-based image representations are computational expensive to use for iterative pose refinement, as they require that image features are extracted using a deep network, once for the input image and multiple times for rendered images during the refinement process. Instead of using a CNN to extract image features from a rendered RGB image, we propose to directly render a deep feature image. We call this deep texture rendering, where a shallow multi-layer perceptron is used to directly regress a view invariant image representation of an object. Using an estimate of the pose and deep texture rendering, our system can render an image representation in under 1ms. This image representation is optimized such that it makes it easier to perform nonlinear 6D pose estimation by adding a differentiable Levenberg-Marquardt optimization network and back-propagating the 6D pose alignment error. We call our method, RePOSE, a Real-time Iterative Rendering and Refinement algorithm for 6D POSE estimation. RePOSE runs at 71 FPS and achieves state-of-the-art accuracy of 51.6% on the Occlusion LineMOD dataset - a 4.1% absolute improvement over the prior art, and comparable performance on the YCB-Video dataset with a much faster runtime than the other pose refinement methods.

研究动机与目标

• 解决基于 CNN 的特征提取在迭代 6D 位姿精炼中的计算瓶颈。
• 在不牺牲准确率的前提下，实现实时 6D 位姿估计。
• 开发一种可快速渲染且可端到端优化的视角不变图像表示。
• 将可微优化集成到渲染流程中，实现 6D 位姿的直接精炼。

提出的方法

• 用浅层多层感知机替代基于 CNN 的特征提取，直接从物体几何形状和位姿回归深度特征图像。
• 使用深度纹理渲染技术，在每帧渲染中生成视角不变的图像表示，耗时不足 1ms。
• 集成可微的 Levenberg-Marquardt 优化网络，以反向传播 6D 位姿对齐误差。
• 通过最小化渲染特征与真实关键点位置之间的差异来优化位姿估计。
• 采用可微渲染流程，实现位姿精炼过程的端到端训练。
• 每轮迭代仅执行一次前向传播，避免在渲染图像上重复进行 CNN 推理。

实验结果

研究问题

• RQ1 轻量级神经网络能否在保持准确率的前提下替代 CNN 实现迭代 6D 位姿精炼中的特征提取？
• RQ2 直接渲染深度特征能否实现实时 6D 位姿估计？
• RQ3 通过可微渲染流程对位姿进行可微优化，如何提升收敛速度与准确率？
• RQ4 用学习的纹理渲染替代基于 CNN 的特征时，速度与准确率之间的权衡如何？
• RQ5 所提方法能否泛化到 Occlusion LineMOD 和 YCB-Video 等具有挑战性的基准测试？

主要发现

• RePOSE 实现了 71 FPS 的推理速度，支持实时 6D 位姿估计。
• 其在 Occlusion LineMOD 数据集上达到 51.6% 的准确率，相比之前最先进方法绝对提升了 4.1%。
• 该方法在 YCB-Video 数据集上保持了具有竞争力的性能，同时在运行时间上显著优于其他基于精炼的方法。
• 直接深度纹理渲染的使用将每轮迭代的推理时间减少至 1ms 以下，消除了重复进行 CNN 推理的需求。
• 可微优化流程支持通过反向传播的对齐误差，有效实现 6D 位姿估计的端到端精炼。
• 该方法在遮挡与非遮挡场景下均表现出强大的泛化能力，经标准基准验证。