[论文解读] Unsupervised 3D Learning for Shape Analysis via Multiresolution Instance Discrimination

Peng‐Shuai Wang, Yuqi Yang+4 more|arXiv (Cornell University)|Aug 3, 2020

3D Shape Modeling and Analysis参考文献 67被引用 6

一句话总结

该论文提出了一种基于多分辨率实例判别（MID）损失的无监督3D形状分析方法，通过联合学习未标注3D点云中的形状和点特征，实现对形状的端到端表示学习。通过将HRNet适配为基于八叉树的架构，并结合MID损失进行训练，该方法在形状分类、分割和配准任务上均取得了当前最优性能，在仅使用极少标注数据的情况下，其在细粒度PartNet分割任务上超越了监督方法。

ABSTRACT

Although unsupervised feature learning has demonstrated its advantages to reducing the workload of data labeling and network design in many fields, existing unsupervised 3D learning methods still cannot offer a generic network for various shape analysis tasks with competitive performance to supervised methods. In this paper, we propose an unsupervised method for learning a generic and efficient shape encoding network for different shape analysis tasks. The key idea of our method is to jointly encode and learn shape and point features from unlabeled 3D point clouds. For this purpose, we adapt HR-Net to octree-based convolutional neural networks for jointly encoding shape and point features with fused multiresolution subnetworks and design a simple-yet-efficient Multiresolution Instance Discrimination (MID) loss for jointly learning the shape and point features. Our network takes a 3D point cloud as input and output both shape and point features. After training, the network is concatenated with simple task-specific back-end layers and fine-tuned for different shape analysis tasks. We evaluate the efficacy and generality of our method and validate our network and loss design with a set of shape analysis tasks, including shape classification, semantic shape segmentation, as well as shape registration tasks. With simple back-ends, our network demonstrates the best performance among all unsupervised methods and achieves competitive performance to supervised methods, especially in tasks with a small labeled dataset. For fine-grained shape segmentation, our method even surpasses existing supervised methods by a large margin.

研究动机与目标

• 开发一种通用的无监督3D形状编码主干网络，使其在多种3D形状分析任务中具备良好的泛化能力。
• 通过统一的训练目标，从无标注3D点云中联合学习形状级别与点级别特征。
• 通过实现迁移学习并仅需极少微调，克服特定任务监督网络的局限性。
• 设计一种预训练方案，在标注数据稀缺时，其性能优于监督基线方法。
• 证明联合多分辨率特征学习与实例判别可为3D几何结构生成更优表示。

提出的方法

• 将HRNet架构适配为基于八叉树的卷积神经网络，以并行方式从3D点云中提取多分辨率特征。
• 提出一种多分辨率实例判别（MID）损失，联合优化形状实例与点实例的对比学习，适用于数据增强后的样本对。
• 采用旋转、缩放和平移等数据增强策略，生成形状级别与点级别上的正样本对，用于对比学习。
• 通过多分辨率子网络之间的特征融合，提升表示质量与模型鲁棒性。
• 在ShapeNetCore55上使用MID损失训练主干网络，随后在下游任务中通过简单任务特定头进行微调。
• 采用基于聚类的对比学习策略，使用K=100个图像块以提升局部特征的判别能力。

实验结果

研究问题

• RQ1 通过无监督预训练联合学习形状与点特征，是否能提升在多样化3D形状分析任务中的性能？
• RQ2 结合跨尺度特征融合的多分辨率架构，是否能增强3D点云的表示学习能力？
• RQ3 与单层次或单任务对比损失相比，所提出的MID损失在下游任务中的性能表现如何？
• RQ4 在标注数据有限的情况下，无监督预训练是否能超越监督微调在下游任务中的表现？
• RQ5 数据增强策略与聚类方案的选择在多大程度上影响所学特征的质量？

主要发现

• 所提出的MID-Net在所有无监督3D学习方法中，于形状分类、语义分割与3D配准任务上均达到当前最优性能。
• 在PartNet数据集上，该方法显著超越现有监督方法，在仅进行无监督预训练的情况下，实现了60.8%的mIoU（细粒度分割指标）。
• 当仅使用1%的训练数据进行微调时，模型仍保持优异性能（分类准确率达61.8%），优于从零开始训练的模型。
• 消融实验证实，若移除HRNet中的特征融合层，分类准确率最高下降2.1%，验证了多分辨率融合的重要性。
• MID损失优于单一损失变体：仅使用形状损失或仅使用点损失时，分割mIoU下降1.2%至2.0%，尤其在低数据场景下更为明显。
• 模型性能对增强策略具有鲁棒性，完整增强方案效果最佳，且当图像块数量超过100后，性能增益趋于饱和。