[论文解读] Point Transformer V2: Grouped Vector Attention and Partition-based Pooling

Xiaoyang Wu, Yixing Lao+3 more|arXiv (Cornell University)|Oct 11, 2022

Remote Sensing and LiDAR Applications被引用 191

一句话总结

Point Transformer V2 引入分组向量注意力和基于分区的池化，相较于 Point Transformer 提高了效率与准确性，并在 ScanNet v2、S3DIS 和 ModelNet40 上实现了最先进的结果。

ABSTRACT

As a pioneering work exploring transformer architecture for 3D point cloud understanding, Point Transformer achieves impressive results on multiple highly competitive benchmarks. In this work, we analyze the limitations of the Point Transformer and propose our powerful and efficient Point Transformer V2 model with novel designs that overcome the limitations of previous work. In particular, we first propose group vector attention, which is more effective than the previous version of vector attention. Inheriting the advantages of both learnable weight encoding and multi-head attention, we present a highly effective implementation of grouped vector attention with a novel grouped weight encoding layer. We also strengthen the position information for attention by an additional position encoding multiplier. Furthermore, we design novel and lightweight partition-based pooling methods which enable better spatial alignment and more efficient sampling. Extensive experiments show that our model achieves better performance than its predecessor and achieves state-of-the-art on several challenging 3D point cloud understanding benchmarks, including 3D point cloud segmentation on ScanNet v2 and S3DIS and 3D point cloud classification on ModelNet40. Our code will be available at https://github.com/Gofinge/PointTransformerV2.

研究动机与目标

• 识别 Point Transformer (PTv1) 在深层、高通道场景下的局限性。
• 提出一种参数高效的分组向量注意力机制，并配备分组权重编码层。
• 通过一个位置编码乘子增强对三维几何的位置信息编码。
• 开发一种基于分区（网格）的聚合策略，以实现更好的空间对齐和效率。
• 在标准三维基准数据集上展示改进的性能，并分析模型复杂度与延迟。

提出的方法

• 引入分组向量注意力（GVA）及其分组权重编码函数，以在保持表达能力的同时减少参数数量。
• 定义一个分组线性权重编码（zeta），实现组间信息交流。
• 用一个位置编码乘子 delta_mul 应用于关系向量，增强位置编码。
• 提出使用不重叠网格分区（grid pooling）的分区式聚合，并配以简单的反聚合。
• 在 U-Net 主干网络上保留跳跃连接与邻域注意力，用于局部三维点交互。
• 提供大量消融实验，比较 GVA、权重编码变体、位置编码和聚合策略。

实验结果

研究问题

• RQ1 分组向量注意力（GVA）在点云局部邻域注意力方面是否优于传统的多头/自注意力（MSA）？
• RQ2 分组权重编码函数在参数数量减少的同时，是否能够维持或提升相较于标准线性编码的性能？
• RQ3 添加位置编码乘子是否能在 PTv1 的编码方案基础上提升空间推理能力？
• RQ4 分区式聚合方法是否比基于采样的聚合在三维点云中提升效率与空间对齐？

主要发现

• PTv2 超越 PTv1，在 ScanNet v2、S3DIS 和 ModelNet40 上达到最先进的结果。
• 带 GVA 的局部邻域注意力在消融实验中持续优于移位网格注意力和 MSA。
• 带归一化/激活的分组线性/权重编码变体在参数更少的情况下提供更好的性能，相较于朴素线性编码。
• 基于分区的网格聚合在 mIoU 和前向时间上均优于基于采样的聚合方法（FPS-kNN、Grid-kNN）。
• 在 ModelNet40 上，PTv2 取得 91.6 mAcc 与 94.2 OA，标志着在所报道方法中的最先进性能。
• PTv2 相比 PTv1，在深度和通道数增加时能够降低参数增长并保持效率。