[论文解读] Pose Induction for Novel Object Categories

Shubham Tulsiani, João Carreira+1 more|arXiv (Cornell University)|May 1, 2015

Image and Object Detection Techniques参考文献 36被引用 6

一句话总结

本文提出了一种姿态诱导系统，仅使用少量标注类别作为种子集，即可预测新类别物体的3D姿态。通过从对齐的训练类别中学习通用姿态预测器，并在多个实例间联合优化预测结果，该方法在无需关键点标注的情况下实现了可靠的姿态估计，从而仅依靠轮廓图即可实现端到端的形状模型学习——在新类别上实现了最先进性能，且监督信息极少。

ABSTRACT

We address the task of predicting pose for objects of unannotated object categories from a small seed set of annotated object classes. We present a generalized classifier that can reliably induce pose given a single instance of a novel category. In case of availability of a large collection of novel instances, our approach then jointly reasons over all instances to improve the initial estimates. We empirically validate the various components of our algorithm and quantitatively show that our method produces reliable pose estimates. We also show qualitative results on a diverse set of classes and further demonstrate the applicability of our system for learning shape models of novel object classes.

研究动机与目标

• 在无需为每个新类别手动标注姿态的情况下，实现对新类别物体的姿态预测。
• 开发一种通用分类器，利用视觉和结构相似性，在不同物体类别间迁移姿态知识。
• 对同一新类别的多个实例进行联合推理，以改进初始姿态估计。
• 证明姿态诱导可替代关键点标注，实现在仅使用轮廓图的情况下学习3D形状模型，从而减少对昂贵3D监督的依赖。

提出的方法

• 通过使用3D旋转将少量标注物体类别对齐至一致的3D参考坐标系，训练一个通用姿态预测器。
• 使用视点流形的密集离散化，隐式对齐不同类别物体的形状，从而实现跨类别泛化。
• 利用训练好的通用分类器，为单个新类别实例生成初始姿态假设。
• 使用联合优化框架，在同一新类别的多个实例间联合优化姿态预测，以提高一致性和准确性。
• 使用诱导的姿态估计结果初始化形状建模的投影参数（旋转、缩放、平移），而非真实关键点。
• 利用轮廓图数据和能量函数（强制形状一致性、平滑性及小形变）优化形状模型，同时联合优化投影参数。

实验结果

研究问题

• RQ1 模型能否从少量标注的物体类别泛化到完全新颖且未标注的类别进行姿态预测？
• RQ2 与单实例预测相比，对同一新类别的多个实例进行联合推理在多大程度上提升了姿态估计的准确性？
• RQ3 姿态诱导能否替代3D形状建模中的关键点标注，实现在仅使用轮廓图的情况下学习形状模型？
• RQ4 该方法在ImageNet等真实世界数据集中的多样化未见物体类别上，泛化能力如何？

主要发现

• 该系统仅使用单个实例即可实现对新类别物体的可靠姿态估计，当多个实例可用于联合推理时，性能显著提升。
• 仅使用轮廓标注和诱导的姿态估计，该方法学习到的形状模型在定性和定量上均接近使用完整关键点标注训练的模型。
• 最具置信度的姿态诱导预测子集在形状建模中表现出更高的精度，证明了系统输出的可靠性。
• 使用诱导姿态学习到的摩托车形状模型与使用完整标注训练的真实模型高度一致，验证了该方法在真实世界部署中的可行性。
• 该方法在多样化的ImageNet类别上实现了泛化，展示了其在大规模真实世界物体类别上的鲁棒性与可扩展性。