[论文解读] Self-Supervised Multi-View Learning via Auto-Encoding 3D Transformations

Xiang Gao, Wei Hu+1 more|arXiv (Cornell University)|Mar 1, 2021

3D Shape Modeling and Analysis参考文献 60被引用 6

一句话总结

本文提出多视角变换等变表征（MV-TER），一种自监督方法，通过在3D变换前后从多个2D视角自动编码3D变换，学习3D物体特征。通过在视角间强制实现等变性，MV-TER在仅使用极少标注数据的情况下，在3D物体分类与检索任务中达到最先进性能。

ABSTRACT

3D object representation learning is a fundamental challenge in computer vision to infer about the 3D world. Recent advances in deep learning have shown their efficiency in 3D object recognition, among which view-based methods have performed best so far. However, feature learning of multiple views in existing methods is mostly performed in a supervised fashion, which often requires a large amount of data labels with high costs. In contrast, self-supervised learning aims to learn multi-view feature representations without involving labeled data. To this end, we propose a novel self-supervised paradigm to learn Multi-View Transformation Equivariant Representations (MV-TER), exploring the equivariant transformations of a 3D object and its projected multiple views. Specifically, we perform a 3D transformation on a 3D object, and obtain multiple views before and after the transformation via projection. Then, we self-train a representation to capture the intrinsic 3D object representation by decoding 3D transformation parameters from the fused feature representations of multiple views before and after the transformation. Experimental results demonstrate that the proposed MV-TER significantly outperforms the state-of-the-art view-based approaches in 3D object classification and retrieval tasks, and show the generalization to real-world datasets.

研究动机与目标

• 为解决监督式3D表征学习的高昂成本，减少对大规模标注数据的依赖。
• 利用3D物体在多个2D视角间变换的等变特性，实现自监督特征学习。
• 通过融合多视角特征重建3D变换参数，学习物体的内在3D表征。
• 提升3D表征学习在真实世界和合成数据集上的泛化能力与鲁棒性。

提出的方法

• 对3D物体（点云或网格）施加3D变换（如旋转、平移），然后在变换前后将其投影到多个固定2D视角。
• 将变换前后的原始与变换后2D视角输入共享主干网络，以提取多视角特征表征。
• 通过逐元素拼接或基于注意力的聚合方式，融合变换前与变换后所有视角的特征表征。
• 训练解码头，从融合后的表征中预测3D变换参数，使用均方误差损失。
• 通过端到端训练联合优化表征学习与变换重建，其中重建损失作为自监督正则化项。
• 将MV-TER损失与下游任务损失（如分类）联合训练。

实验结果

研究问题

• RQ1 能否利用多个2D视角间3D变换的等变性，学习到强大的自监督3D表征？
• RQ2 与单视角或独立视角学习相比，融合变换前后多视角特征如何提升3D表征学习？
• RQ3 MV-TER在真实世界多视角数据集（如RGB-D和ETH-80）上的泛化能力如何？
• RQ4 在准确率与鲁棒性方面，该方法相较于当前最先进基于视角的3D学习模型表现如何？

主要发现

• 在ModelNet40上，MV-TER在3D物体分类任务中达到95.00±6.12%的准确率，显著优于先前基于视角的方法。
• 在真实世界RGB-D数据集上，MV-TER相比MVCNN提升2.05%准确率，相比GVCNN提升2.97%准确率。
• 在ETH-80数据集上，MV-TER相比MVCNN和GVCNN分别实现1.88%和1.25%的准确率提升。
• 变换估计误差迅速收敛，至第60个训练周期时，均方误差已降至接近零。
• 对应视角的特征图表现出等变行为，证实模型学习到了一致且与变换相关的表征。
• 平均解码策略相比单视角预测，能更准确地估计3D变换，验证了特征融合策略的有效性。