[论文解读] Self-supervised Modal and View Invariant Feature Learning

Longlong Jing, Yucheng Chen+3 more|arXiv (Cornell University)|May 28, 2020

3D Shape Modeling and Analysis参考文献 54被引用 12

一句话总结

本文提出了一种自监督框架，用于学习对数据模态（点云、网格、多视角图像）和视角均不变的3D特征表示。通过对比学习方法，利用正样本对和负样本对强制实现跨模态和跨视角的不变性，该方法将异构的3D表示映射到一个共享的通用空间，从而实现鲁棒的跨模态检索，并在无需任何人工标注的情况下，在3D识别、分割和检索任务上达到与监督方法相当的性能。

ABSTRACT

Most of the existing self-supervised feature learning methods for 3D data either learn 3D features from point cloud data or from multi-view images. By exploring the inherent multi-modality attributes of 3D objects, in this paper, we propose to jointly learn modal-invariant and view-invariant features from different modalities including image, point cloud, and mesh with heterogeneous networks for 3D data. In order to learn modal- and view-invariant features, we propose two types of constraints: cross-modal invariance constraint and cross-view invariant constraint. Cross-modal invariance constraint forces the network to maximum the agreement of features from different modalities for same objects, while the cross-view invariance constraint forces the network to maximum agreement of features from different views of images for same objects. The quality of learned features has been tested on different downstream tasks with three modalities of data including point cloud, multi-view images, and mesh. Furthermore, the invariance cross different modalities and views are evaluated with the cross-modal retrieval task. Extensive evaluation results demonstrate that the learned features are robust and have strong generalizability across different tasks.

研究动机与目标

• 为解决现有自监督3D特征学习方法仅聚焦于单一模态（如点云或图像）的局限性，实现多种模态的联合学习。
• 学习对数据模态和视角均不变的特征，从而实现对同一对象不同3D表示形式的泛化能力。
• 通过学习异构3D数据的共享特征空间，实现在无任何人工标注情况下的跨模态3D物体检索。
• 提升3D特征在多样化下游任务（如识别、分割和少样本学习）中的泛化能力和鲁棒性。

提出的方法

• 提出两种约束：跨模态不变性（对同一对象的不同模态特征进行对齐）和跨视角不变性（对同一对象的不同视角特征进行对齐）。
• 使用对比学习方法，最小化正样本对（同一对象在不同模态/视角下的特征）之间的特征距离，同时最大化负样本对（不同对象）之间的距离。
• 采用异构子网络（如用于图像的CNN、用于点云的PointNet、用于网格的网格网络）提取模态特定的特征。
• 通过对比损失将不同模态和视角的特征融合到共享嵌入空间中，支持端到端训练。
• 利用身份不变性作为自监督信号：同一对象的样本对为正样本，不同对象的样本对为负样本。
• 在训练过程中应用数据增强（如旋转、裁剪）生成同一对象的多样化视角，以增强视角不变性。

实验结果

研究问题

• RQ1 自监督特征学习能否在3D表示中同时实现对数据模态和视角的不变性？
• RQ2 仅使用无标签数据的身份监督信号，能否在点云、网格和多视角图像之间学习到统一的特征空间？
• RQ3 所提出的方法能否在无任何人工标注的情况下实现有效的跨模态3D物体检索？
• RQ4 所学习特征在多样化3D视觉任务中的性能与监督方法及自监督基线相比如何？

主要发现

• 所提方法仅通过自监督预训练，在ModelNet40 3D物体识别基准上达到87.7%的准确率，与PointNet++和DGCNN等监督方法性能相当。
• 在基于多视角图像的识别任务中，自监督模型$F_{img}$在12个视角下达到87.7%的准确率，优于当前最先进自监督方法XMV（87.3%），并接近MVCNN和DeCAF等监督模型的性能。
• 在基于点云的识别任务中，模型$F_p$达到89.3%的准确率，优于大多数自监督基线方法，并接近监督模型的性能。
• 该方法实现了有效的跨模态检索，定性结果表明对具有独特结构的物体（如飞机和汽车）具有较高的检索精度。
• 该框架在五个下游任务中表现出强大的泛化能力：3D物体识别、少样本识别、部件分割、域内检索和跨模态检索。
• 据作者所知，这是首个探索点云、网格和图像之间跨模态3D检索的自监督方法。