[论文解读] RotationNet: Joint Learning of Object Classification and Viewpoint Estimation using Unaligned 3D Object Dataset

Asako Kanezaki, Yasuyuki Matsushita+1 more|arXiv (Cornell University)|Mar 20, 2016

Advanced Neural Network Applications被引用 7

一句话总结

RotationNet 是一种基于 CNN 的模型，通过使用未对齐的 3D 物体数据集，从多视角图像中联合估计物体类别和 3D 视角，将视角标签视为潜在变量以实现无监督训练。该模型在 3D 物体分类（ModelNet10/40）和物体位姿估计任务上均取得了当前最优性能，且在训练过程中无需已知的视角标注。

ABSTRACT

We propose a Convolutional Neural Network (CNN)-based model which takes multi-view images of an object as input and jointly estimates its pose and object category. Unlike previous approaches that use known viewpoint labels for training, our method treats the viewpoint labels as latent variables, which are learned in an unsupervised manner during the training using an unaligned object dataset. RotationNet is designed to use only a partial set of multi-view images for inference, and this property makes it useful in practical scenarios where only partial views are available. Moreover, our pose alignment strategy enables one to obtain view-specific feature representations shared across classes, which is important to maintain high accuracy in both object categorization and pose estimation. Effectiveness of RotationNet is demonstrated by its superior performance to the state-of-the-art methods of 3D object classification on 10- and 40-class ModelNet datasets. We also show that RotationNet, even trained without known poses, achieves the state-of-the-art performance on an object pose estimation dataset. The code is available on this https URL

研究动机与目标

• 开发一种方法，仅从多视角图像中联合预测物体类别和 3D 视角，且在训练过程中无需已知的视角标签。
• 实现仅使用部分多视角图像集合进行推理，提升在实际场景中观测角度有限时的应用性。
• 通过位姿对齐策略学习跨物体类别共享的视角特定特征表示，从而提升分类与位姿估计的准确性。
• 仅使用未对齐、未标注的 3D 物体数据，在 3D 物体分类与位姿估计基准上展示当前最优性能。

提出的方法

• RotationNet 使用多视角 CNN 处理由不同角度拍摄的物体图像，提取跨视角共享的特征。
• 将视角标签视为潜在变量，在训练过程中端到端学习，无需真实位姿标注。
• 应用位姿对齐策略，对齐不同视角的特征，使网络能够学习对物体类别不变的视角特定表示。
• 使用联合损失函数同时优化物体分类与视角估计目标，实现端到端训练。
• 网络架构设计支持部分视角输入，使其在仅部分视角可用的场景下依然具备鲁棒性。
• 该方法利用未对齐的数据集，即图像未预先注册到特定视角，从而提升在真实世界中的广泛适用性。

实验结果

研究问题

• RQ1 深度学习模型能否在无需训练时提供已知视角标签的情况下，从多视角图像中联合预测物体类别和 3D 视角？
• RQ2 在未对齐的 3D 物体数据上以无监督方式训练的模型，其在 3D 物体分类与 3D 位姿估计任务上的泛化能力如何？
• RQ3 所提出的位姿对齐策略在多视角与多物体类别之间对特征表示学习的改进程度如何？
• RQ4 当推理时仅提供物体的部分视角图像时，模型能否保持高精度？
• RQ5 分类与位姿估计的联合学习是否优于分别独立训练每个任务？

主要发现

• RotationNet 在 ModelNet10 和 ModelNet40 的 10 类与 40 类 3D 物体分类数据集上均取得了当前最优性能，即使在无任何已知视角标注的情况下进行训练。
• 尽管以自监督方式训练且无真实位姿标签，该模型在物体位姿估计基准上仍取得了当前最优结果。
• 采用位姿对齐策略使网络能够学习到跨物体类别共享的视角特定特征，提升了泛化能力与准确性。
• 当推理时仅提供部分多视角图像时，RotationNet 仍能保持高性能，证明其对不完整观测具有鲁棒性。
• 与独立训练分类与位姿估计任务的模型相比，分类与位姿估计的无监督联合学习显著提升了两个任务的性能。