[论文解读] PeP: a Point enhanced Painting method for unified point cloud tasks

Zichao Dong, Hang Ji+4 more|arXiv (Cornell University)|Oct 11, 2023

3D Surveying and Cultural Heritage被引用 4

一句话总结

PeP 通过一种改进的点绘画方法和基于语言模型的点编码器，提出了一种统一的、与模型无关的点云识别框架，通过增强 LiDAR 特征实现性能提升。该方法利用开放词汇分割生成语义/实例标签，并通过自注意力机制将点属性融合为上下文嵌入，从而在 LiDAR 语义分割（nuScenes mIoU: 79.8）和多模态 3D 目标检测（KITTI 3D AP: 95.57/90.98/91.01）任务上均达到最先进性能。

ABSTRACT

Point encoder is of vital importance for point cloud recognition. As the very beginning step of whole model pipeline, adding features from diverse sources and providing stronger feature encoding mechanism would provide better input for downstream modules. In our work, we proposed a novel PeP module to tackle above issue. PeP contains two main parts, a refined point painting method and a LM-based point encoder. Experiments results on the nuScenes and KITTI datasets validate the superior performance of our PeP. The advantages leads to strong performance on both semantic segmentation and object detection, in both lidar and multi-modal settings. Notably, our PeP module is model agnostic and plug-and-play. Our code will be publicly available soon.

研究动机与目标

• 通过引入多源语义先验来增强特征表示，以提升点云识别性能。
• 解决传统点绘画方法依赖配对图像或固定标签源的局限性。
• 在单一、即插即用的框架下统一点云识别任务（分割、检测）。
• 探索将语言建模原理融入点云特征学习，以提升上下文表征能力。
• 开发一种数据高效、可扩展的方法，且对下游架构具有无关性。

提出的方法

• 一种改进的点绘画方法将来自开放词汇分割模型（如 ODISE）的语义和实例标签注入 LiDAR 点作为附加特征。
• 分词器将原始点特征（如 x, y, z, 强度）转换为维度 d=4 的可学习嵌入。
• 单层自注意力机制实现每个点内各属性之间的信息交互，形成上下文化的点嵌入。
• 基于语言模型的点编码器独立运行，可无缝集成到任意主干网络中，无需修改网络结构。
• 绘画过程分两个阶段进行：首先进行语义标注，然后在注入特征时同时使用语义 ID 和实例 ID。
• 通过使用基于图像的分割生成标签，该框架支持仅 LiDAR 和多模态两种设置。

实验结果

研究问题

• RQ1 基于语言模型的编码方案是否能超越标准几何特征，提升点云特征表示能力？
• RQ2 将来自开放词汇分割模型的语义和实例标签引入，对点云识别性能有何影响？
• RQ3 一个统一的、即插即用的模块能否同时提升 3D 目标检测和语义分割任务的性能？
• RQ4 多源语义先验（图像或自监督）对特征质量与模型收敛性有何影响？
• RQ5 该方法在不同数据集和模态下（尤其是在数据稀缺条件下）的可扩展性如何？

主要发现

• PeP 在 nuScenes 验证集上达到最先进性能，mIoU 达到 79.8，优于基线模型 SphereFormer 的 78.4。
• 在 KITTI 3D 检测基准上，PeP 将 3D AP 提升至 95.57（易）、90.98（中）、91.01（难），优于基线模型 VirConv。
• 该方法在任务间表现出强大的泛化能力，在仅 LiDAR 和多模态设置下均同时提升了语义分割与 3D 目标检测性能。
• 仅使用基于语言模型的点编码器即可提升性能，但当与改进的绘画模块结合时，性能增益显著更大。
• 该框架具有模型无关性和即插即用特性，可无缝集成到现有点云处理流程中，无需修改网络架构。
• 尽管性能增益显著，但在 KITTI 上收敛更具挑战性，表明基于语言模型的编码器可能需要更多数据才能达到最佳性能。