[论文解读] PAPooling: Graph-based Position Adaptive Aggregation of Local Geometry in Point Clouds

Jie Wang, Jianan Li+3 more|arXiv (Cornell University)|Nov 28, 2021

3D Shape Modeling and Analysis参考文献 48被引用 5

一句话总结

该论文提出PAPooling，一种基于图的、位置自适应的点云特征聚合方法，通过图表示建模局部点之间的空间关系，并利用图卷积网络动态加权特征。与标准的最大池化/平均池化相比，该方法在保留细粒度几何结构方面表现更优，在集成到PointNet++和DGCNN等主干网络时，计算开销极低，显著提升了准确率（例如，在S3DIS上mIoU提升+4.2%）。

ABSTRACT

Fine-grained geometry, captured by aggregation of point features in local regions, is crucial for object recognition and scene understanding in point clouds. Nevertheless, existing preeminent point cloud backbones usually incorporate max/average pooling for local feature aggregation, which largely ignores points' positional distribution, leading to inadequate assembling of fine-grained structures. To mitigate this bottleneck, we present an efficient alternative to max pooling, Position Adaptive Pooling (PAPooling), that explicitly models spatial relations among local points using a novel graph representation, and aggregates features in a position adaptive manner, enabling position-sensitive representation of aggregated features. Specifically, PAPooling consists of two key steps, Graph Construction and Feature Aggregation, respectively in charge of constructing a graph with edges linking the center point with every neighboring point in a local region to map their relative positional information to channel-wise attentive weights, and adaptively aggregating local point features based on the generated weights through Graph Convolution Network (GCN). PAPooling is simple yet effective, and flexible enough to be ready to use for different popular backbones like PointNet++ and DGCNN, as a plug-andplay operator. Extensive experiments on various tasks ranging from 3D shape classification, part segmentation to scene segmentation well demonstrate that PAPooling can significantly improve predictive accuracy, while with minimal extra computational overhead. Code will be released.

研究动机与目标

• 为解决传统最大池化/平均池化方法在局部区域中忽略点位置分布，导致无法捕捉细粒度几何结构的问题。
• 开发一种即插即用的特征聚合算子，具备位置敏感性，并在点云处理中保留局部几何细节。
• 通过用PAPooling替换PointNet++和DGCNN等现有基于点的模型中的池化层，使这些模型能够更好地学习上下文和结构表征。
• 证明在局部邻域中采用基于图的空间建模，可在包括分类、部件分割和场景分割在内的多种3D视觉任务中实现性能提升。

提出的方法

• PAPooling包含两个阶段：图构建与特征聚合。
• 在图构建阶段，通过将中心点与局部区域内所有邻近点连接形成图，边特征编码相对位置信息。
• 这些位置特征通过图卷积网络（GCN）嵌入到通道注意力权重中，实现位置自适应加权。
• 在特征聚合阶段，利用生成的注意力权重将邻近点特征的加权和作为局部特征。
• 该方法被设计为即插即用模块，可无缝替换PointNet++和DGCNN等现有点云主干网络中的最大池化层。
• 采用Softmax（尤其是通道自适应）等归一化函数，以稳定并优化注意力权重的分布。

Figure 1: Comparison of (a) max pooling and (b) our PAPooling. The left blue circles represent points in a local region (darker color corresponds to stronger feature response) and the right circle represents aggregated feature. Max pooling simply ignores the spatial distribution of local points and

实验结果

研究问题

• RQ1 一种显式建模局部点之间空间关系的基于图的特征聚合方法，能否提升点云中细粒度几何结构的表征能力？
• RQ2 在不同3D视觉任务中，PAPooling在保留局部几何结构方面与标准最大池化/平均池化相比表现如何？
• RQ3 在注意力权重的归一化策略方面，图构建模块的最佳设计（如编码器数量）为何？
• RQ4 当集成到PointNet++和DGCNN等主流主干网络中时，PAPooling在性能提升方面达到何种程度？
• RQ5 在图构建阶段使用通道自适应注意力权重，是否相比通道无关的权重能带来更好的性能？

主要发现

• 在PointNet++上使用PAPooling时，S3DIS数据集上的mIoU绝对提升1.0%（54.5% vs. 53.5% mIoU）。
• 在DGCNN上应用PAPooling时，mIoU绝对提升4.2%（60.3% vs. 56.1% mIoU），表明其在不同网络架构间具有强大的泛化能力。
• 在ModelNet40上，PAPooling在使用Softmax归一化和通道自适应权重时达到92.74%的准确率，优于其他归一化方案。
• 消融实验表明，图构建模块中使用两个编码器可获得最佳性能，表明简单设计已足以实现最优结果。
• 可视化结果证实，PAPooling会根据邻点的相对位置动态分配不同的注意力权重，实现位置敏感的特征聚合。
• 定性分割结果表明，该方法能有效捕捉物体边界处的细粒度几何细节，如S3DIS Area-5中的结果所示。

Figure 2: Overview of architecture of PAPooling. (a) shows the traditional feature aggregation operation in point clouds. (b) illustrates the workflow of our PAPooling, including two important modules, Graph Construction and Feature Aggregation. The first module, Graph Construction, is designed to t