[论文解读] Point Transformer V3: Simpler, Faster, Stronger

Xiaoyang Wu, Li Jiang+7 more|arXiv (Cornell University)|Dec 15, 2023

3D Surveying and Cultural Heritage被引用 18

一句话总结

Point Transformer V3 (PTv3) 通过用序列化点云邻域替代精确的邻居搜索实现可扩展且高效的三维感知，将感受野从 16 提升到 1024，同时提升速度并减少内存，在多数据集训练下在 20+ 任务上取得最先进的结果。

ABSTRACT

This paper is not motivated to seek innovation within the attention mechanism. Instead, it focuses on overcoming the existing trade-offs between accuracy and efficiency within the context of point cloud processing, leveraging the power of scale. Drawing inspiration from recent advances in 3D large-scale representation learning, we recognize that model performance is more influenced by scale than by intricate design. Therefore, we present Point Transformer V3 (PTv3), which prioritizes simplicity and efficiency over the accuracy of certain mechanisms that are minor to the overall performance after scaling, such as replacing the precise neighbor search by KNN with an efficient serialized neighbor mapping of point clouds organized with specific patterns. This principle enables significant scaling, expanding the receptive field from 16 to 1024 points while remaining efficient (a 3x increase in processing speed and a 10x improvement in memory efficiency compared with its predecessor, PTv2). PTv3 attains state-of-the-art results on over 20 downstream tasks that span both indoor and outdoor scenarios. Further enhanced with multi-dataset joint training, PTv3 pushes these results to a higher level.

研究动机与目标

• 以缩放作为 3D 点云骨干网络性能的关键驱动，挑战「复杂模块设计总是更优秀」的说法。
• 通过用序列化方法替代代价高昂的基于 KNN 的和相对位置的组件，开发一个更简单、更高效的骨干网络。
• 在保持效率的同时，将有效感受场显著扩大（从 16 到 1024 点）。
• 在多样的室内外感知任务上展示最先进的结果，并通过多数据集联合训练的帮助。

提出的方法

• 通过使用填充曲线（Z-order、Trans Z-order、Hilbert、Trans Hilbert）对点云进行序列化，将点云转换为结构化序列。
• 使用序列化编码为每个点分配一个 64-bit 代码，并在每个批次内排序以强加顺序。
• 采用具有补丁分组和交互的补丁注意力，在不进行密集邻域搜索的情况下扩展感受野。
• 引入多种补丁交互策略（Shift Dilation、Shift Patch、Shift Order、Shuffle Order）以实现跨补丁的信息流。
• 用高效的 xCPE（增强条件位置编码）替代昂贵的相对位置编码，在注意力前置并可选跳跃连接。
• 保持类似 U-Net 的架构，具备四阶段的编码器/解码器和 Grid Pooling，使用 pre-norm 和 LayerNorm 以提升稳定性。

实验结果

研究问题

• RQ1 在 3D 骨干中，缩放（数据/模型）是否会压倒复杂的设计选择，从而实现更简单的架构？
• RQ2 基于序列化的点处理能否在不牺牲性能的前提下替代 KNN 和复杂的邻域机制？
• RQ3 扩展注意力感受野如何影响室内/室外 3D 任务的准确性和效率？
• RQ4 多数据集联合训练对 PTv3 性能的影响是什么？
• RQ5 哪些序列化模式和补丁交互设计可以在精度和效率之间取得最佳平衡？

主要发现

• PTv3 相较 PTv2 提供更快的推理速度（约 3.3 倍）和更低的内存使用量（约 10 倍）。
• PTv3 将注意力的感受野从 16 点扩展到 1024 点，同时维持效率。
• PTv3 在超过 20 项室内外三维感知任务上取得最先进的结果。
• 在 PTv3 上进行多数据集联合训练进一步提高了下游任务的性能。
• 基于序列化的设计，结合补丁注意力和 xCPE，在使用多种序列化模式时提供可扩展的性能提升，同时几乎不增加额外的计算负担。