[论文解读] P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with Point-to-Pixel Prompting

Ziyi Wang, Xumin Yu+3 more|arXiv (Cornell University)|Aug 4, 2022

3D Surveying and Cultural Heritage被引用 37

一句话总结

一种通过将点云通过几何保留投影与几何感知着色转换为彩色图像，从而利用冻结的预训练2D图像模型来处理3D点云任务的方法，支持低参数调优且性能强劲。

ABSTRACT

Nowadays, pre-training big models on large-scale datasets has become a crucial topic in deep learning. The pre-trained models with high representation ability and transferability achieve a great success and dominate many downstream tasks in natural language processing and 2D vision. However, it is non-trivial to promote such a pretraining-tuning paradigm to the 3D vision, given the limited training data that are relatively inconvenient to collect. In this paper, we provide a new perspective of leveraging pre-trained 2D knowledge in 3D domain to tackle this problem, tuning pre-trained image models with the novel Point-to-Pixel prompting for point cloud analysis at a minor parameter cost. Following the principle of prompting engineering, we transform point clouds into colorful images with geometry-preserved projection and geometry-aware coloring to adapt to pre-trained image models, whose weights are kept frozen during the end-to-end optimization of point cloud analysis tasks. We conduct extensive experiments to demonstrate that cooperating with our proposed Point-to-Pixel Prompting, better pre-trained image model will lead to consistently better performance in 3D vision. Enjoying prosperous development from image pre-training field, our method attains 89.3% accuracy on the hardest setting of ScanObjectNN, surpassing conventional point cloud models with much fewer trainable parameters. Our framework also exhibits very competitive performance on ModelNet classification and ShapeNet Part Segmentation. Code is available at https://github.com/wangzy22/P2P.

研究动机与目标

• 通过将2D图像预训练知识转移，解决3D点云预训练数据匮乏问题。
• 引入一个基于提示的方法管道，将点云转换为与冻结的2D模型兼容的彩色图像。
• 在保留几何信息的同时，以最少的可训练参数实现端到端优化。

提出的方法

• 使用轻量级的DGCNN对点云几何进行编码，获取每个点的特征。
• 应用几何保留投影，将点特征映射到图像风格的布局，同时保留空间信息。
• 使用几何感知着色模块根据几何对投影图像着色，生成用于预训练图像模型的彩色图像 I。
• 将彩色图像输入到冻结的预训练图像模型（例如 ViT、ConvNeXt）以提取图像级特征用于下游头部。
• 用在2D图像域中定义的损失训练特定任务头（分类、分割），并在需要时将结果投影回3D。

实验结果

研究问题

• RQ1 通过将点云转换为彩色化图像，是否可以有效地使用预训练的2D图像模型进行3D点云分析？
• RQ2 在P2P框架下，预训练图像模型规模如何影响3D点云分类性能？
• RQ3 冻结图像模型与仅微调少数参数相比，在实现良好3D性能方面的影响？
• RQ4 几何保留投影是否保留足够的3D结构以支持如分割等下游任务的准确性？
• RQ5 2D的不同预训练策略（有监督与无监督）如何通过P2P转移到3D任务？

主要发现

• 扩大相同预训练图像模型的规模可提升在P2P下的3D分类性能。
• 在 ImageNet-22k 上预训练的 HorNet-L 与 P2P 在 ScanObjectNN 上达到 89.3%，超过传统的3D预训练基线。
• P2P 在 ModelNet40 分类和 ShapeNetPart 分割上提供了具竞争力的结果，同时可训练参数显著更少。
• 彩色图像提示（Point-to-Pixel）比仅使用几何特征或对特征直接进行补丁嵌入更有效。
• 有监督的2D预训练通常比无监督预训练带来更好的3D迁移，尽管强的无监督方法（如 DINO、MAE）也很有竞争力。
• 消融结果表明仅调节图像模型的归一化参数可以在利用2D知识和避免过拟合之间取得有利平衡。