[论文解读] Self-positioning Point-based Transformer for Point Cloud Understanding

Jinyoung Park, Sanghyeok Lee+3 more|arXiv (Cornell University)|Mar 29, 2023

3D Surveying and Cultural Heritage被引用 5

一句话总结

本文提出 SPoTr，一种基于自定位点的 Transformer 模型，用于点云理解，可在降低计算复杂度的同时捕捉局部与全局形状上下文。通过自适应地放置少量自定位点，并使用解耦注意力机制联合建模空间与语义邻近性，SPoTr 在 ScanObjectNN 数据集上的形状分类任务中相比之前的方法实现了 2.6% 的准确率提升，同时显著降低了 FLOPs 和内存占用。

ABSTRACT

Transformers have shown superior performance on various computer vision tasks with their capabilities to capture long-range dependencies. Despite the success, it is challenging to directly apply Transformers on point clouds due to their quadratic cost in the number of points. In this paper, we present a Self-Positioning point-based Transformer (SPoTr), which is designed to capture both local and global shape contexts with reduced complexity. Specifically, this architecture consists of local self-attention and self-positioning point-based global cross-attention. The self-positioning points, adaptively located based on the input shape, consider both spatial and semantic information with disentangled attention to improve expressive power. With the self-positioning points, we propose a novel global cross-attention mechanism for point clouds, which improves the scalability of global self-attention by allowing the attention module to compute attention weights with only a small set of self-positioning points. Experiments show the effectiveness of SPoTr on three point cloud tasks such as shape classification, part segmentation, and scene segmentation. In particular, our proposed model achieves an accuracy gain of 2.6% over the previous best models on shape classification with ScanObjectNN. We also provide qualitative analyses to demonstrate the interpretability of self-positioning points. The code of SPoTr is available at https://github.com/mlvlab/SPoTr.

研究动机与目标

• 解决标准 Transformer 在点云上带来的二次方计算成本问题，同时保持长距离依赖建模能力。
• 通过引入自适应、形状感知的自定位点，提升点云处理中全局注意力的表达能力。
• 通过一种新颖的跨注意力机制，仅使用少量自定位点，显著降低全局自注意力的内存与 FLOP 开销。
• 通过实现不同形状间语义上一致且有意义的点定位，提升模型的可解释性。

提出的方法

• SPoTr 采用双注意力机制：局部点注意力（LPA）用于学习局部几何结构，自定位点注意力（SPA）用于全局上下文聚合。
• 自定位点（SP 点）基于输入形状自适应放置，利用空间与语义线索确保关键结构区域的覆盖。
• SPA 使用解耦注意力机制，分别建模空间邻近性（通过核 g）与语义相关性（通过核 h），并将其结合为 g·h 以抑制无关特征。
• 全局跨注意力机制仅在输入点与少量 SP 点之间计算注意力权重，相比完整自注意力，显著降低了 FLOPs。
• 模型采用通道级点注意力（CWPA）以提升特征表示能力，其中基于减法的语义关系（f_q - f_k）表现最为有效。
• SPoTr 通过自适应、语义感知的点采样方式，推广了集合抽象机制，实现更具表达力的特征学习。

实验结果

研究问题

• RQ1 少量自适应的自定位点是否能以更低的计算成本，有效表征点云中的全局形状上下文？
• RQ2 同时建模空间与语义邻近性的解耦注意力机制，如何提升点云 Transformer 中的特征表示能力？
• RQ3 所提出的基于自定位点的跨注意力机制在准确率与效率方面，相较于标准全局自注意力机制，优势有多大？
• RQ4 自定位点是否能在不同形状与类别间保持一致的放置位置，体现其语义可解释性？
• RQ5 在自定位注意力机制中，哪种最优语义关系（如 f_q - f_k）最适于建模特征交互？

主要发现

• SPoTr 在 ScanObjectNN 数据集上的形状分类任务中，相比之前最先进模型实现了 2.6% 的准确率提升，证明其在真实数据上的优越性能。
• 所提出的 SPA 机制相比标准全局自注意力，将 FLOPs 降低了 90.5%，内存占用降低了 89.7%，吞吐量提升了 15.9 倍。
• 采用解耦注意力（g·h）的模型能选择性地从语义相关区域聚合特征，有效抑制来自邻近但语义无关部分的噪声。
• 定性分析表明，自定位点始终稳定地放置在语义上有意义的位置（如飞机的机翼根部），体现出模型的可解释性与语义感知能力。
• 采用基于减法关系（f_q - f_k）的通道级点注意力（CWPA）表现最佳，优于标准注意力与其他关系类型。
• SPoTr 通过增强表达能力推广了集合抽象机制，在不增加计算复杂度的前提下实现了更优的特征学习。