[论文解读] Take-A-Photo: 3D-to-2D Generative Pre-training of Point Cloud Models

Ziyi Wang, Xumin Yu+3 more|arXiv (Cornell University)|Jul 27, 2023

3D Shape Modeling and AnalysisEngineering被引用 3

一句话总结

本文提出TAP，一种3D到2D的生成式预训练方法，通过使用交叉注意力机制从指定相机位姿生成视图图像，从而增强点云模型。通过利用精确的2D图像监督而非间接的点云重建，TAP提升了几何与立体理解能力，在ScanObjectNN和ShapeNetPart上实现了最先进性能，且无需预训练视觉或语言模型。

ABSTRACT

With the overwhelming trend of mask image modeling led by MAE, generative pre-training has shown a remarkable potential to boost the performance of fundamental models in 2D vision. However, in 3D vision, the over-reliance on Transformer-based backbones and the unordered nature of point clouds have restricted the further development of generative pre-training. In this paper, we propose a novel 3D-to-2D generative pre-training method that is adaptable to any point cloud model. We propose to generate view images from different instructed poses via the cross-attention mechanism as the pre-training scheme. Generating view images has more precise supervision than its point cloud counterpart, thus assisting 3D backbones to have a finer comprehension of the geometrical structure and stereoscopic relations of the point cloud. Experimental results have proved the superiority of our proposed 3D-to-2D generative pre-training over previous pre-training methods. Our method is also effective in boosting the performance of architecture-oriented approaches, achieving state-of-the-art performance when fine-tuning on ScanObjectNN classification and ShapeNetPart segmentation tasks. Code is available at https://github.com/wangzy22/TAP.

研究动机与目标

• 为解决3D生成式预训练中缺乏精确监督的问题，现有方法通常依赖于如Chamfer Distance等不精确的点云重建损失。
• 克服现有方法仅限于基于Transformer的主干网络且难以适配多样化点云架构的局限性。
• 通过更具信息量的基于图像的监督，提升3D主干模型对几何结构与立体关系的理解。
• 开发一种灵活的预训练框架，兼容任意点云模型，不限于特定架构。

提出的方法

• 位姿依赖的图像模块利用交叉注意力将相机位姿条件编码到3D特征中，将其转换为2D视图图像特征。
• 2D生成器解码这些位姿条件特征，生成视图图像，其监督来自合成数据中渲染的真实图像。
• 查询生成器基于物理公式推导光学射线，利用原点坐标、归一化方向向量和位置嵌入生成交叉注意力的查询。
• 该方法避免显式投影，让交叉注意力层端到端学习3D到2D的特征重排，从而提升表征学习能力。
• 使用带填充标记（pad tokens）的内存构建器处理可变大小的特征网格，提升训练稳定性和性能。
• 预训练流程兼容任意点云主干网络，支持广泛的架构适配。

实验结果

研究问题

• RQ1 基于图像监督的3D到2D生成式预训练是否能比基于点云重建的方法更有效地提升3D点云表征学习？
• RQ2 使用基于数学推导查询的位姿条件交叉注意力，是否能带来3D模型中更优的几何与空间理解？
• RQ3 专为2D图像生成设计的预训练方法能否有效适配任意点云主干网络？
• RQ4 所提方法在下游3D视觉任务中与最先进架构模型相比表现如何？

主要发现

• TAP在ScanObjectNN物体分类基准上达到最先进性能，优于基于Transformer的先前生成式预训练方法。
• 以PointMLP为骨干网络时，TAP在ScanObjectNN上达到88.5%的准确率，超越了不使用预训练图像或文本模型的先前方法。
• 在ShapeNetPart部件分割任务上，TAP在无外部视觉或语言预训练方法中达到最先进结果。
• 消融实验表明，图像模块中的交叉注意力机制至关重要，其性能优于直接投影或自注意力基线。
• 查询的数学公式化设计——包括原点坐标、方向向量和位置嵌入——被证明至关重要，各组成部分均对性能有显著贡献。
• 在内存构建器中引入填充标记可提升泛化能力，增加交叉注意力层可进一步提升性能，直至出现过拟合。