[论文解读] Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training

Xiaoyang Wu, Zhuotao Tian+5 more|arXiv (Cornell University)|Aug 18, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出点提示训练（Point Prompt Training, PPT），一种用于大规模3D表示学习的新框架，通过引入提示驱动归一化（Prompt-driven Normalization）和语言引导类别对齐（Language-guided Categorical Alignment），实现多数据集协同训练，缓解负迁移问题。PPT采用单一共享权重模型，在多种室内与室外3D基准上均取得最先进性能，显著提升单数据集或简单多数据集训练方法的泛化能力与表示质量。

ABSTRACT

The rapid advancement of deep learning models often attributes to their ability to leverage massive training data. In contrast, such privilege has not yet fully benefited 3D deep learning, mainly due to the limited availability of large-scale 3D datasets. Merging multiple available data sources and letting them collaboratively train a single model is a potential solution. However, due to the large domain gap between 3D point cloud datasets, such mixed supervision could adversely affect the model's performance and lead to degenerated performance (i.e., negative transfer) compared to single-dataset training. In view of this challenge, we introduce Point Prompt Training (PPT), a novel framework for multi-dataset synergistic learning in the context of 3D representation learning that supports multiple pre-training paradigms. Based on this framework, we propose Prompt-driven Normalization, which adapts the model to different datasets with domain-specific prompts and Language-guided Categorical Alignment that decently unifies the multiple-dataset label spaces by leveraging the relationship between label text. Extensive experiments verify that PPT can overcome the negative transfer associated with synergistic learning and produce generalizable representations. Notably, it achieves state-of-the-art performance on each dataset using a single weight-shared model with supervised multi-dataset training. Moreover, when served as a pre-training framework, it outperforms other pre-training approaches regarding representation quality and attains remarkable state-of-the-art performance across over ten diverse downstream tasks spanning both indoor and outdoor 3D scenarios.

研究动机与目标

• 为解决由于点云数据集之间存在较大领域差异，导致多数据集3D表示学习中出现负迁移的问题。
• 通过统一标签空间并适应模型至领域特定分布，实现在多个3D数据集上的有效协同训练。
• 开发一种兼容监督与自监督范式的通用预训练框架，用于3D点云学习。
• 通过利用类别标签之间的文本关系及领域特定提示适应，提升泛化能力与表示质量。

提出的方法

• 提出点提示训练（PPT），一种统一的多数据集3D表示学习框架，支持监督与无监督预训练。
• 提出提示驱动归一化（Prompt-driven Normalization），通过应用领域特定提示，使模型的归一化层适应不同数据集，降低领域差异的影响。
• 提出语言引导类别对齐（LCA），利用类别名称的文本嵌入统一多个数据集的标签空间，实现监督信号的对齐。
• 采用在多个数据集上训练的共享权重模型，通过提示适配器与LCA实现领域泛化，且不造成性能下降。
• 利用对比学习与交叉注意力机制，将点特征与类别-文本嵌入在统一潜在空间中对齐。
• 支持在包含数据集上的直接评估，以及通过微调实现下游任务的迁移学习。

实验结果

研究问题

• RQ1 在3D表示学习中，多数据集训练能否克服因数据集间存在较大领域差距而导致的负迁移？
• RQ2 在联合训练过程中，如何有效缓解3D点云中的领域特定分布偏移问题？
• RQ3 能否仅通过文本类别描述，在多样化3D数据集中构建统一的标签空间？
• RQ4 在多个数据集上训练的单一共享权重模型，是否在泛化能力与下游性能上优于单数据集基线？
• RQ5 所提出的框架能否作为多样化室内与室外3D场景中的优越预训练策略？

主要发现

• PPT在使用单一共享权重模型于多个室内数据集上训练的情况下，于ScanNet和S3DIS基准上均取得最先进性能，ScanNet验证集mIoU达75.4%，测试集达77.5%。
• 在室外基准上，PPT在SemanticKITTI（88.34% mIoU）、nuScenes（90.84% mIoU）和Waymo（94.56% mIoU）上均取得SOTA结果，展现出跨领域的强大泛化能力。
• PPT通过领域提示适应与标签空间对齐，有效缓解了性能下降问题，优于存在负迁移问题的简单联合训练方法。
• 消融实验表明，共享领域提示可提升泛化能力，而逐块独立提示则导致过拟合与性能下降。
• 语言引导类别对齐（LCA）在单数据集训练中作为有效预测头，使SpUNet-S的mIoU从73.4提升至74.2。
• 通过PPT扩展主干网络可减少过拟合并提升性能，SpUNet-L在S3DIS上达到75.8% mIoU，优于未使用PPT的小型模型。