[论文解读] Object Pose Estimation using Mid-level Visual Representations

Negar Nejatishahidin, Pooya Fayyazsanavi+1 more|arXiv (Cornell University)|Mar 2, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种新颖的6D物体位姿估计方法，利用预训练的中级视觉表征——表面法线和重光照——以在极少标注数据下实现更强的泛化能力。通过在物体掩码和轮廓检索上微调轻量级CNN，该模型在仅使用Pix3D数据集25%的训练数据时，准确率比先前方法高出35%，并在具有挑战性的Active Vision Dataset（AVD）上展现出优异的零样本迁移性能。

ABSTRACT

This work proposes a novel pose estimation model for object categories that can be effectively transferred to previously unseen environments. The deep convolutional network models (CNN) for pose estimation are typically trained and evaluated on datasets specifically curated for object detection, pose estimation, or 3D reconstruction, which requires large amounts of training data. In this work, we propose a model for pose estimation that can be trained with small amount of data and is built on the top of generic mid-level representations \cite{taskonomy2018} (e.g. surface normal estimation and re-shading). These representations are trained on a large dataset without requiring pose and object annotations. Later on, the predictions are refined with a small CNN neural network that exploits object masks and silhouette retrieval. The presented approach achieves superior performance on the Pix3D dataset \cite{pix3d} and shows nearly 35\% improvement over the existing models when only 25\% of the training data is available. We show that the approach is favorable when it comes to generalization and transfer to novel environments. Towards this end, we introduce a new pose estimation benchmark for commonly encountered furniture categories on challenging Active Vision Dataset \cite{Ammirato2017ADF} and evaluated the models trained on the Pix3D dataset.

研究动机与目标

• 解决基于深度学习的6D物体位姿估计在部署于未见环境时泛化能力差的挑战。
• 通过利用在代理任务上预训练的通用中级表征，减少对大规模、带位姿标注数据集的依赖。
• 通过结合中级特征与基于物体掩码和轮廓检索的优化阶段，实现在极小监督下的有效位姿估计。
• 利用Active Vision Dataset（AVD）建立新基准，以评估真实世界、具有挑战性的室内环境下的零样本迁移性能。

提出的方法

• 在无位姿或物体标注的大规模数据集上预训练中级表征网络（表面法线估计和重光照），
• 将预训练的中级特征作为位姿估计的主干网络，避免从原始像素端到端训练。
• 仅使用物体掩码和轮廓图作为监督信号，在中级特征之上微调一个轻量级CNN。
• 实现基于检索的优化阶段，利用预测轮廓与真实轮廓之间学习到的相似性来提升位姿分类性能。
• 以两阶段方式训练完整流水线：首先提取中级特征，然后分类器预测离散的方位角和仰角区间。
• 通过在未对AVD数据集进行任何微调或适应的情况下，直接测试在Pix3D上训练的模型，评估零样本迁移性能。

Figure 1 : Active Vision Dataset [ 1 ] pose estimation benchmark challenges; many objects are highly occluded (e.g. the first two rows), large lighting variations, glassy objects (the third row), and truncated viewpoints (last row). These challenges affect both computation of mid-level representatio

实验结果

研究问题

• RQ1 在代理任务（如表面法线、重光照）上预训练的中级视觉表征能否作为6D物体位姿估计的有效且可泛化的特征？
• RQ2 当仅在物体掩码和轮廓图上进行训练时，轻量级优化网络能在多大程度上提升位姿估计的准确率？
• RQ3 在低数据设置下，特别是仅使用25%训练数据时，该方法的性能表现如何？
• RQ4 该模型能否在具有遮挡、光照变化和截断视图等复杂条件的新颖真实环境中实现有效泛化？

主要发现

• 当仅使用Pix3D训练数据的25%时，所提模型的准确率比现有模型高出35%，展现出强大的数据效率。
• 在Pix3D数据集上，该模型优于Mousavian等人[17]的方法，并在13-bin设置（1.5°重叠）下显著优于Pix3D基线模型。
• 在AVD基准上，该模型达到46.22%的平均准确率，比ResNet_baseline高出10.56个百分点，证明了其强大的零样本泛化能力。
• 该模型的性能显著受物体掩码质量影响，在高度遮挡或截断视图下性能下降。
• 采用轮廓检索的优化阶段显著提升了基础中级特征模型的性能，验证了两阶段设计的有效性。
• 该方法在新环境中的泛化能力良好，这从其在未参与训练的Active Vision Dataset上的优异表现中得到证实。

Figure 2 : Network Architecture. First stage: up-sampled and fused mid-level feature maps (not the actual normal and re-shading images) are used to predict azimuth and elevation. Second stage: The object mask and mid-level features are compared with the top three object D-masks corresponding to most