[论文解读] VA-GCN: A Vector Attention Graph Convolution Network for learning on Point Clouds

Haotian Hu, Fanyi Wang+1 more|arXiv (Cornell University)|Jun 1, 2021

3D Shape Modeling and Analysis参考文献 35被引用 4

一句话总结

本文提出VA-GCN，一种用于点云学习的新型图卷积网络，通过引入向量注意力卷积（VAConv）模块，显式地利用点之间的仰角和方位角来建模局部几何关系。通过融合高维边特征与低维几何注意力，并堆叠多尺度VAConv模块，VA-GCN在ModelNet40上实现2.4%的准确率提升，达到SOTA性能，并在S3DIS和ShapeNet基准上创下新SOTA记录。

ABSTRACT

Owing to the development of research on local aggregation operators, dramatic breakthrough has been made in point cloud analysis models. However, existing local aggregation operators in the current literature fail to attach decent importance to the local information of the point cloud, which limits the power of the models. To fit this gap, we propose an efficient Vector Attention Convolution module (VAConv), which utilizes K-Nearest Neighbor (KNN) to extract the neighbor points of each input point, and then uses the elevation and azimuth relationship of the vectors between the center point and its neighbors to construct an attention weight matrix for edge features. Afterwards, the VAConv adopts a dual-channel structure to fuse weighted edge features and global features. To verify the efficiency of the VAConv, we connect the VAConvs with different receptive fields in parallel to obtain a Multi-scale graph convolutional network, VA-GCN. The proposed VA-GCN achieves state-of-the-art performance on standard benchmarks including ModelNet40, S3DIS and ShapeNet. Remarkably, on the ModelNet40 dataset for 3D classification, VA-GCN increased by 2.4% compared to the baseline.

研究动机与目标

• 为解决现有局部聚合算子在点云模型中无法充分捕捉和加权局部几何信息的局限性。
• 开发一种机制，显式建模点与其邻居之间的方向性和角度关系，以提升特征表示能力。
• 设计一种多尺度、双通道架构，融合高维边特征与低维几何结构，实现更丰富的特征学习。
• 在标准3D点云基准（包括ModelNet40、S3DIS和ShapeNet）上，实现分类、分割和部件分割任务的SOTA性能。

提出的方法

• VAConv使用K近邻（KNN）识别每个输入点的邻居点，构建有向图以表示局部邻域结构。
• 通过中心点与其邻居之间的相对向量计算仰角和方位角，构建可学习的注意力权重矩阵以加权边特征。
• 该模块采用双通道结构：一个分支处理加权边特征，另一个分支融合全局特征与相对几何信息。
• VA-GCN架构并行堆叠具有不同感受野的多尺度VAConv模块，以捕捉多尺度局部结构。
• 网络采用双路径设计，集成EdgeConv与VAConv，实现几何拓扑与语义边特征的联合学习。
• 在测试阶段应用多采样推理（MSI），以进一步提升ModelNet40上的性能。

实验结果

研究问题

• RQ1 如何显式建模点云中的局部几何关系，以提升深度学习模型的特征表示能力？
• RQ2 将方向向量信息（仰角和方位角）引入注意力机制对边特征加权有何影响？
• RQ3 融合高维边特征与低维几何结构的双通道架构是否能提升点云任务的性能？
• RQ4 使用具有不同感受野的并行VAConv模块进行多尺度聚合，如何影响模型的准确率与泛化能力？
• RQ5 多采样推理（MSI）在点云分类基准上的性能提升程度如何？

主要发现

• VA-GCN在ModelNet40上达到93.5%的整体准确率，相比基线模型提升2.4%，创下新的SOTA记录。
• 在S3DIS数据集的室内语义分割任务中，VA-GCN实现56.9%的mIoU，较之前最佳结果提升0.8%。
• 在ShapeNet数据集的3D部件分割任务中，VA-GCN实现85.5%的实例mIoU与82.6%的类别mIoU，较DGCNN提升0.3%。
• 消融实验证实，双通道结构相比单通道变体将准确率提升0.7%；并行多尺度VAConv设计相比单分支配置进一步提升性能0.9%。
• 所提出的多采样推理（MSI）策略进一步提升了ModelNet40的性能，达到迄今为止报告的最高分数。