[论文解读] Point-BERT: Pre-training 3D Point Cloud Transformers with Masked Point Modeling

Xumin Yu, Lulu Tang+4 more|arXiv (Cornell University)|Nov 29, 2021

3D Shape Modeling and Analysis参考文献 52被引用 49

一句话总结

Point-BERT 使用掩码点建模任务和通过 dVAE 学习的离散点令牌词汇，对 3D 点云 Transformers 进行预训练，在 ModelNet40 和 ScanObjectNN 上取得强劲结果，并能较好迁移到新任务。

ABSTRACT

We present Point-BERT, a new paradigm for learning Transformers to generalize the concept of BERT to 3D point cloud. Inspired by BERT, we devise a Masked Point Modeling (MPM) task to pre-train point cloud Transformers. Specifically, we first divide a point cloud into several local point patches, and a point cloud Tokenizer with a discrete Variational AutoEncoder (dVAE) is designed to generate discrete point tokens containing meaningful local information. Then, we randomly mask out some patches of input point clouds and feed them into the backbone Transformers. The pre-training objective is to recover the original point tokens at the masked locations under the supervision of point tokens obtained by the Tokenizer. Extensive experiments demonstrate that the proposed BERT-style pre-training strategy significantly improves the performance of standard point cloud Transformers. Equipped with our pre-training strategy, we show that a pure Transformer architecture attains 93.8% accuracy on ModelNet40 and 83.1% accuracy on the hardest setting of ScanObjectNN, surpassing carefully designed point cloud models with much fewer hand-made designs. We also demonstrate that the representations learned by Point-BERT transfer well to new tasks and domains, where our models largely advance the state-of-the-art of few-shot point cloud classification task. The code and pre-trained models are available at https://github.com/lulutang0608/Point-BERT

研究动机与目标

• 将 BERT 风格的预训练扩展到具有最小先验偏差的 3D 点云。
• 开发一个将局部点块转换为离散令牌的标记化机制。
• 提出一个掩码点建模的预训练目标，以恢复被掩码的令牌。
• 通过辅助对比学习目标提升表示能力，以捕捉更高层次的语义。
• 展示点云任务在迁移、少样本和真实世界场景下的强劲性能提升。

提出的方法

• 通过 FPS 和 kNN 聚类将 3D 点云划分为局部补丁（子云）。
• 用一个 mini-PointNet 将子云投影为嵌入并形成补丁嵌入序列。
• 使用一个离散 VAE（dVAE）学习一个 Tokenizer，将嵌入转换为离散点令牌。
• 通过 Masked Point Modeling 对 Transformer 主干进行预训练，掩码补丁并利用 dVAE 的监督信息重建令牌。
• 在预训练阶段应用分块掩码策略，并使用一个可学习的掩码令牌。
• 结合 MoCo 为基础的对比损失和 Point Patch Mixing，以促使得到高层次的语义表示。

实验结果

研究问题

• RQ1 是否可以将 BERT 风格的预训练目标有效应用于具有离散令牌的 3D 点云？
• RQ2 通过 dVAE 学得的离散点令牌是否能捕捉到有意义的局部几何模式用于表示学习？
• RQ3 在对比学习和补丁混合的辅助下，Masked Point Modeling 是否能改进下游的 3D 任务，相较于从零开始训练？
• RQ4 Point-BERT 的表示在真实世界数据集和少样本场景中的迁移效果如何？

主要发现

• Point-BERT 在 ModelNet40 上以更多输入点达到 93.8% 的准确率，超越若干手工设计与基于 Transformer 的基线。
• 在挑战性的 ScanObjectNN 设置中，Point-BERT 达到 83.1% 的准确率，超越以往模型且手工设计偏差更少。
• 使用 Point-BERT 进行预训练能持续提升 Transformer 的性能，相对于从头开始训练并且随着输入密度提升而提高（如 4096 pts 时 93.4%，8192 pts 时 93.8%）。
• Point-BERT 表征对新任务和新领域的迁移效果良好，在点云分类的少样本场景中推动了最新水平。
• 消融研究表明，MPM、Point Patch Mixing 与 MoCo 的组合能带来最强的性能提升。