[论文解读] Point Cloud Classification Using Content-based Transformer via Clustering in Feature Space

Yahui Liu, Bin Tian+3 more|arXiv (Cornell University)|Mar 8, 2023

3D Shape Modeling and Analysis被引用 6

一句话总结

该论文提出PointConT，一种用于3D点云分类的内容感知Transformer，通过基于特征相似性的点聚类实现高效的长距离注意力机制。与基于空间邻域的自注意力计算相比，该方法在特征空间内进行自注意力计算，显著降低了计算成本，同时捕捉全局依赖关系，在ScanObjectNN最困难的设置下实现了90.3%的Top-1准确率。

ABSTRACT

Recently, there have been some attempts of Transformer in 3D point cloud classification. In order to reduce computations, most existing methods focus on local spatial attention, but ignore their content and fail to establish relationships between distant but relevant points. To overcome the limitation of local spatial attention, we propose a point content-based Transformer architecture, called PointConT for short. It exploits the locality of points in the feature space (content-based), which clusters the sampled points with similar features into the same class and computes the self-attention within each class, thus enabling an effective trade-off between capturing long-range dependencies and computational complexity. We further introduce an Inception feature aggregator for point cloud classification, which uses parallel structures to aggregate high-frequency and low-frequency information in each branch separately. Extensive experiments show that our PointConT model achieves a remarkable performance on point cloud shape classification. Especially, our method exhibits 90.3% Top-1 accuracy on the hardest setting of ScanObjectNN. Source code of this paper is available at https://github.com/yahuiliu99/PointConT.

研究动机与目标

• 解决Transformer中局部空间注意力的局限性，该方法无法捕捉点云中远距离但语义相似点之间的长距离依赖关系。
• 在保持全局特征表示能力的同时，降低3D点云分类的计算复杂度。
• 设计一种新型特征聚合器，分别捕捉高频与低频特征分量，以提升特征学习效果。
• 验证基于内容的特征空间聚类作为自注意力计算中空间局部性的替代方案的有效性。

提出的方法

• 提出一种基于内容的自注意力机制，根据特征相似性而非空间邻近性对采样点进行聚类。
• 在每个Transformer块、头和阶段中动态形成非重叠聚类，利用基于特征的聚类实现局部化注意力计算。
• 引入一种类似Inception的特征聚合器，包含两个并行分支：一个使用最大池化和残差MLP捕捉高频特征，另一个使用平均池化和基于内容的Transformer捕捉低频特征。
• 在消融实验中，使用欧氏距离作为聚类相似性度量，其性能优于余弦相似度。
• 在Transformer块中引入向量注意力机制，实现通道自适应调制，相比标量注意力可提升特征表示能力。
• 采用最远点采样（FPS）进行点下采样，并使用多阶段架构逐步优化特征表示。

实验结果

研究问题

• RQ1 与空间局部性相比，基于特征空间的聚类是否能提升点云Transformer中的长距离依赖建模能力？
• RQ2 基于内容的聚类如何影响点云分类中的计算效率与分类准确率？
• RQ3 内容感知注意力中，聚类大小、相似性度量和注意力类型的最优配置是什么？
• RQ4 高频与低频特征分量在点云分类中的整体性能中分别起到何种贡献？
• RQ5 结合Inception风格特征聚合与内容感知注意力是否能在基准数据集上实现更优性能？

主要发现

• PointConT在ModelNet40上达到93.5%的Top-1准确率，在ScanObjectNN上达到88.0%，展现出在标准基准上的强大性能。
• 在ScanObjectNN最困难的设置下，PointConT达到90.3%的Top-1准确率，优于相同评估协议下的先前方法。
• 使用欧氏距离进行聚类的性能优于余弦相似度（ModelNet40上分别为93.5%与92.9%），表明基于L2的特征邻近性更有效。
• 消融实验证实，包含最大池化与平均池化分支的Inception特征聚合器至关重要，若移除平均池化，ScanObjectNN上的性能将下降1.7%。
• 最优局部聚类大小为16，聚类过小（8）或过大（32）均导致性能下降。
• 向量注意力略优于标量注意力，Top-1准确率为93.5% vs 92.9%，证实其在3D特征学习中的优势。