[论文解读] Point Clouds Learning with Attention-based Graph Convolution Networks

Zhuyang Xie, Junzhou Chen+1 more|arXiv (Cornell University)|May 31, 2019

3D Shape Modeling and Analysis参考文献 32被引用 6

一句话总结

本文提出了一种基于注意力机制的图卷积网络（AGCN），这是一种新颖的架构，通过在KNN图上引入注意力机制来建模点云中的局部几何关系，从而实现有效的局部到全局特征学习。该方法在点云分类与分割基准测试中达到了最先进性能，在ModelNet40数据集上取得了92.61%的准确率，并在特征聚合方面优于先前方法。

ABSTRACT

Point clouds data, as one kind of representation of 3D objects, are the most primitive output obtained by 3D sensors. Unlike 2D images, point clouds are disordered and unstructured. Hence it is not straightforward to apply classification techniques such as the convolution neural network to point clouds analysis directly. To solve this problem, we propose a novel network structure, named Attention-based Graph Convolution Networks (AGCN), to extract point clouds features. Taking the learning process as a message propagation between adjacent points, we introduce an attention mechanism to AGCN for analyzing the relationships between local features of the points. In addition, we introduce an additional global graph structure network to compensate for the relative information of the individual points in the graph structure network. The proposed network is also extended to an encoder-decoder structure for segmentation tasks. Experimental results show that the proposed network can achieve state-of-the-art performance in both classification and segmentation tasks.

研究动机与目标

• 解决使用深度学习处理无序、非结构化3D点云数据的挑战。
• 通过建模邻近点之间的几何关系，改善局部特征表示。
• 通过整合全局点图以补偿相对空间信息，提升全局特征学习能力。
• 将架构扩展为编码器-解码器结构，以支持语义分割等密集预测任务。
• 在标准3D点云数据集上，于分类与分割任务中均实现最先进性能。

提出的方法

• 通过在每个点周围进行稀疏采样构建局部点集，以捕捉局部几何结构。
• 在采样节点上构建KNN图，以建模局部结构之间的关系。
• 设计一种点注意力层，仅在K个最近邻点上计算注意力分数，确保排列不变性与计算效率。
• 引入全局点图以编码相对空间位置，提升图网络中的特征表示能力。
• 堆叠多个点注意力层，逐步实现从局部到全局的特征聚合。
• 将架构扩展为带有跳跃连接的编码器-解码器框架，用于点云分割任务。

实验结果

研究问题

• RQ1 注意力机制能否有效建模无结构点云中的局部几何关系？
• RQ2 在基于图的点云网络中，引入全局点图在多大程度上改善了特征表示？
• RQ3 所提出的基于注意力机制的图卷积网络能否在标准3D点云分类与分割基准上实现更优性能？
• RQ4 当输入点数减少时，网络如何保持稳定性和效率？
• RQ5 注意力机制在多大程度上提升了学习表征中的特征聚类与空间一致性？

主要发现

• AGCN在ModelNet40分类基准上达到92.61%的准确率，相比不使用全局点图的基线模型提升了2.07个百分点。
• 在仅输入32个点的情况下，网络仍保持87.82%的准确率，表明其对低密度输入具有强鲁棒性。
• 引入全局点图使分类准确率提升了近2%，证实其在捕捉相对空间信息方面的有效性。
• 尽管参数量更多，网络的训练与推理时间更快（每批次0.076秒/0.033秒），优于PointNet++（每批次0.526秒/0.203秒）。
• 可视化结果表明，特征图在各层之间逐渐趋于聚类，表明实现了有效的局部到全局特征聚合。
• 第一层卷积核学习到了如线段与平面等有意义的局部模式，证实了模型捕捉几何结构的能力。