[论文解读] RotationNet: Joint Object Categorization and Pose Estimation Using Multiviews from Unsupervised Viewpoints

Asako Kanezaki, Yasuyuki Matsushita+1 more|arXiv (Cornell University)|Mar 20, 2016

Human Pose and Action Recognition参考文献 59被引用 50

一句话总结

RotationNet 是一种基于 CNN 的模型，通过无监督视角学习，从部分多视角图像中联合估计物体类别和 3D 姿态。它在 ModelNet10 和 ModelNet40 上实现了 3D 物体分类的最先进性能，并在姿态估计方面优于监督方法，因为在训练过程中无需真实姿态标签，即可学习到视角特定的、跨类别对齐的特征。

ABSTRACT

We propose a Convolutional Neural Network (CNN)-based model "RotationNet," which takes multi-view images of an object as input and jointly estimates its pose and object category. Unlike previous approaches that use known viewpoint labels for training, our method treats the viewpoint labels as latent variables, which are learned in an unsupervised manner during the training using an unaligned object dataset. RotationNet is designed to use only a partial set of multi-view images for inference, and this property makes it useful in practical scenarios where only partial views are available. Moreover, our pose alignment strategy enables one to obtain view-specific feature representations shared across classes, which is important to maintain high accuracy in both object categorization and pose estimation. Effectiveness of RotationNet is demonstrated by its superior performance to the state-of-the-art methods of 3D object classification on 10- and 40-class ModelNet datasets. We also show that RotationNet, even trained without known poses, achieves the state-of-the-art performance on an object pose estimation dataset. The code is available on https://github.com/kanezaki/rotationnet

研究动机与目标

• 解决仅能获取部分多视角图像时的物体识别挑战。
• 在训练过程中无需真实视角标签，实现物体类别与 3D 姿态的联合学习。
• 基于外观的无监督学习实现类别间与类别内姿态对齐，提升跨物体类别的泛化能力。
• 开发一种实用系统，支持通过移动相机的连续图像输入实现实时分类。
• 创建一个新的真实世界基准数据集（MIRO），用于评估在真实条件下多视角物体识别的性能。

提出的方法

• RotationNet 在训练过程中将视角标签视为隐变量，从而实现从未对齐的多视角图像中无监督学习物体姿态。
• 模型通过共享的 CNN 主干网络处理每张输入图像以提取特征表示，随后为每个预定义视角配置特定的姿态分类头。
• 在推理阶段，RotationNet 通过选择使整体类别置信度最大的姿态（视角）来聚合多个视角的类别似然。
• 一种姿态对齐策略确保视角特定的特征在不同物体类别间共享，实现跨类别对齐并提升泛化能力。
• 该模型支持图像的顺序输入，并动态更新类别似然，适用于移动相机的实时应用。
• 训练使用完整的多视角图像集合（例如 160 个视角），但推理仅需最少一个视角，同时保持高精度。

实验结果

研究问题

• RQ1 能否在无真实视角标注的情况下，以无监督方式有效学习联合物体分类与 3D 姿态估计？
• RQ2 在部分视角条件下，无监督视角学习对物体分类与姿态估计性能有何影响？
• RQ3 跨类别共享的视角特定特征表示能否提升类别与姿态联合学习的泛化能力？
• RQ4 RotationNet 在光照、视角和物体朝向变化多端的真实世界数据集上泛化能力如何？
• RQ5 当训练过程中完全缺乏姿态监督时，该方法在姿态估计上是否优于监督基线方法？

主要发现

• RotationNet 在 10 类和 40 类 ModelNet 基准测试中达到最先进性能，显著优于现有基于 CNN 的 3D 物体分类方法。
• 即使在无真实姿态标签的情况下训练，RotationNet 在 RGBD 物体姿态估计数据集上的表现仍优于以往的监督方法。
• 在 MIRO 数据集上，RotationNet 仅使用 2 个视角即可保持高精度，证明其在真实世界部分视角场景下的强大泛化能力。
• 当使用多个视角时，该模型在物体分类与姿态估计精度上均有所提升，且相对于单视角预测具有持续优势。
• 仅通过基于外观的无监督对齐，RotationNet 即成功将 12 个物体类别的真实世界图像与 CAD 模型对齐。
• 该方法在使用移动 USB 摄像头和 Microsoft HoloLens 的实时应用中表现出稳健性能，验证了其在实时推理中的适用性。