[论文解读] Point-M2AE: Multi-scale Masked Autoencoders for Hierarchical Point Cloud Pre-training

Renrui Zhang, Z. J. Guo+6 more|arXiv (Cornell University)|May 28, 2022

Advanced Neural Network Applications被引用 117

一句话总结

Point-M2AE 引入一个分层、多尺度的掩码自编码器，用于对3D点云的自监督预训练，采用类似 U-Net 的变换器，在微调阶段使用跳跃连接和局部注意力，以学习多尺度几何表示，从而实现最先进的迁移性能。

ABSTRACT

Masked Autoencoders (MAE) have shown great potentials in self-supervised pre-training for language and 2D image transformers. However, it still remains an open question on how to exploit masked autoencoding for learning 3D representations of irregular point clouds. In this paper, we propose Point-M2AE, a strong Multi-scale MAE pre-training framework for hierarchical self-supervised learning of 3D point clouds. Unlike the standard transformer in MAE, we modify the encoder and decoder into pyramid architectures to progressively model spatial geometries and capture both fine-grained and high-level semantics of 3D shapes. For the encoder that downsamples point tokens by stages, we design a multi-scale masking strategy to generate consistent visible regions across scales, and adopt a local spatial self-attention mechanism during fine-tuning to focus on neighboring patterns. By multi-scale token propagation, the lightweight decoder gradually upsamples point tokens with complementary skip connections from the encoder, which further promotes the reconstruction from a global-to-local perspective. Extensive experiments demonstrate the state-of-the-art performance of Point-M2AE for 3D representation learning. With a frozen encoder after pre-training, Point-M2AE achieves 92.9% accuracy for linear SVM on ModelNet40, even surpassing some fully trained methods. By fine-tuning on downstream tasks, Point-M2AE achieves 86.43% accuracy on ScanObjectNN, +3.36% to the second-best, and largely benefits the few-shot classification, part segmentation and 3D object detection with the hierarchical pre-training scheme. Code is available at https://github.com/ZrrSkywalker/Point-M2AE.

研究动机与目标

• 从未标注的点云中通过掩码自编码学习鲁棒的3D 表示。
• 开发面向不规则3D数据的分层（多阶段）编解码器架构。
• 提出一种多尺度 masking 策略，确保跨尺度的可见区域的一致性。
• 结合跳跃连接和局部空间注意力以捕捉局部到全局的几何关系。
• 展示在多样的3D任务上的最先进迁移学习性能。

提出的方法

• 在 S 个尺度上，将点云表示为多尺度点令牌。
• 应用一个多尺度 masking 策略，在高比率掩盖最终尺度并将可见位置反投影到早期尺度。
• 使用一个分层的多阶段编码器，在各阶段之间进行 token 合并以编码多尺度特征。
• 附带一个轻量级分层解码器，使用跳跃连接从编码器特征重建被掩盖的坐标。
• 使用 Chamfer 距离的重建损失在第二尺度到第一尺度恢复被遮蔽的坐标进行训练（不使用对比损失）。
• 在微调阶段，用在各尺度上半径逐渐增大的局部空间注意力替代编码器的自注意力，以强调局部结构。

实验结果

研究问题

• RQ1 通过多尺度、分层 MAE，掩码自编码是否能有效地适应不规则的3D点云？
• RQ2 多尺度掩码和跳跃连接是否能够学习到可向下游任务迁移的局部到全局3D 表示？
• RQ3 微调阶段的局部注意力如何影响下游3D任务的性能？
• RQ4 分层编码/解码器设计对预训练效率和下游准确性的影响如何？
• RQ5 学习到的表示是否能在标准3D基准上超越完全监督基线？

主要发现

• 在对编码器冻结的情况下，在 ModelNet40 上实现线性评估的最先进（92.9% 准确率，超过第二名 1.2%）。
• 在下游任务微调后，在 ScanObjectNN 获得 86.43% 的最高分（领先第二名 +3.36%）。
• 微调后在 ModelNet40 获得 1k 点时 94.0% 的准确率（相比对比方法的 93.2–93.8%）。
• 在 ShapeNetPart 分割和少-shot 分类方面，超越 Point-BERT 和其他基于 MAE 的方法。
• 通过分层预训练，在 ScanNetV2 的 3D 目标检测上提升 AP25 +1.3% 和 AP50 +1.3%。
• 消融实验证实多尺度 masking、分层结构和跳跃连接对性能提高的重要性。