[论文解读] PyramNet: Point Cloud Pyramid Attention Network and Graph Embedding Module for Classification and Segmentation

Kang Zhiheng, Ning Li|arXiv (Cornell University)|Jun 7, 2019

3D Shape Modeling and Analysis参考文献 22被引用 23

一句话总结

PyramNet 是一种新颖的端到端深度学习框架，用于三维点云分类与语义分割，引入了两个关键组件：图嵌入模块（GEM），通过图上的协方差点相似性捕捉局部几何关系；金字塔注意力网络（PAN），在增强语义特征表示的同时保留细粒度几何细节。该方法在 ModelNet40、ShapeNet 和 S3DIS 基准测试中达到最先进性能，ModelNet40 上准确率为 96.8%，S3DIS 上 mIoU 为 55.6%。

ABSTRACT

With the tide of artificial intelligence, we try to apply deep learning to understand 3D data. Point cloud is an important 3D data structure, which can accurately and directly reflect the real world. In this paper, we propose a simple and effective network, which is named PyramNet, suites for point cloud object classification and semantic segmentation in 3D scene. We design two new operators: Graph Embedding Module(GEM) and Pyramid Attention Network(PAN). Specifically, GEM projects point cloud onto the graph and practices the covariance matrix to explore the relationship between points, so as to improve the local feature expression ability of the model. PAN assigns some strong semantic features to each point to retain fine geometric features as much as possible. Furthermore, we provide extensive evaluation and analysis for the effectiveness of PyramNet. Empirically, we evaluate our model on ModelNet40, ShapeNet and S3DIS.

研究动机与目标

• 解决在无序、稀疏的三维点云中学习鲁棒局部几何特征以用于分类与分割任务的挑战。
• 克服现有方法（如 PointNet 和 EdgeConv）的局限性，这些方法或丢失细粒度几何细节，或依赖高维空间中的欧氏距离。
• 设计一种可学习的、具备几何感知能力的模块，通过图结构和协方差矩阵建模点间关系，以增强特征表示。
• 通过分层注意力机制在保持几何保真度的同时丰富语义理解，扩大感受野而不造成特征退化。
• 开发一种端到端的、原生点云处理的架构，优于先前的最先进模型在标准基准测试中的表现。

提出的方法

• 提出图嵌入模块（GEM），从点云数据构建图，并利用邻近点的协方差矩阵来建模局部几何关系。
• 在 GEM 中采用可学习的 k-NN 图构建方式，其中 k 自适应设置为 ⌈F/4⌉，F 为输入通道维数，以平衡局部上下文与计算成本。
• 引入金字塔注意力网络（PAN），通过多尺度注意力机制为每个点分配强语义特征，同时保留细粒度几何细节并扩展有效感受野。
• 在堆叠的编码器-解码器架构中结合 GEM 与 PAN，直接处理原始点云，无需图像或体素网格等辅助输入。
• 使用共享全连接层（512, 256, P）作为分割头输出，生成每个点的概率图以实现部件或语义分割。
• 在训练过程中通过随机均匀采样和点云变换进行数据增强，以提升泛化能力。

实验结果

研究问题

• RQ1 如何有效建模无序、稀疏三维点云中的局部几何关系，以改善特征表示？
• RQ2 基于协方差矩阵的图模块在捕捉空间依赖关系方面，与基于欧氏距离的方法（如 EdgeConv）相比，能提升多少性能？
• RQ3 分层注意力机制是否能够在增强语义特征学习的同时，保留细粒度几何细节？
• RQ4 GEM 与 PAN 模块在分类与分割任务中各自及联合贡献如何？
• RQ5 所提出的端到端架构 PyramNet 是否在 ModelNet40、ShapeNet 和 S3DIS 等标准三维点云基准测试中达到最先进性能？

主要发现

• PyramNet 在 ModelNet40 数据集上实现 96.8% 的分类准确率，优于 PointNet、PointNet++、Kd-Net 和 EdgeConv。
• 在 ShapeNet 部分分割基准测试中，PyramNet 达到 83.9% 的 mIoU，展现出在细粒度物体部件识别方面的强大性能。
• 在 S3DIS 的三维场景语义分割任务中，PyramNet 实现 55.6% 的 mIoU 和 85.6% 的总体准确率，显著优于 PointNet，且与 EdgeConv 性能相当。
• 消融实验确认 GEM 与 PAN 均为关键模块：移除任一模块均导致语义标签混淆且性能下降，尤其在区分相邻物体部件时更为明显。
• GEM 中 k 的选择至关重要；将 k 设置为 ⌈F/4⌉ 时在 ModelNet40 上取得最高准确率（91.5%），验证了其自适应设计的有效性。
• 在 ShapeNet 和 S3DIS 上的可视化结果表明，与基线模型相比，PyramNet 减少了误分类和标签迁移现象，尤其在复杂物体边界和场景区域表现更优。