[论文解读] Pyramid Point: A Multi-Level Focusing Network for Revisiting Feature Layers

Nina Varney, Vijayan K. Asari+1 more|arXiv (Cornell University)|Nov 17, 2020

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 Pyramid Point，一种用于 3D 点云语义分割的多级聚焦网络，采用密集金字塔结构，实现编码器与解码器所有层级之间的特征融合，提升上下文理解能力并减少噪声。该方法引入聚焦核点卷积（FKP Conv），结合空间与通道注意力机制，增强特征质量，在 DALES 和 Paris-Lille 3D 数据集上达到最先进性能，在 Semantic3D 上也取得具有竞争力的结果。

ABSTRACT

We present a method to learn a diverse group of object categories from an unordered point set. We propose our Pyramid Point network, which uses a dense pyramid structure instead of the traditional 'U' shape, typically seen in semantic segmentation networks. This pyramid structure gives a second look, allowing the network to revisit different layers simultaneously, increasing the contextual information by creating additional layers with less noise. We introduce a Focused Kernel Point convolution (FKP Conv), which expands on the traditional point convolutions by adding an attention mechanism to the kernel outputs. This FKP Conv increases our feature quality and allows us to weigh the kernel outputs dynamically. These FKP Convs are the central part of our Recurrent FKP Bottleneck block, which makes up the backbone of our encoder. With this distinct network, we demonstrate competitive performance on three benchmark data sets. We also perform an ablation study to show the positive effects of each element in our FKP Conv.

研究动机与目标

• 为解决 U-Net 类网络在 3D 点云分割中的局限性，特别是因最大池化与下采样导致的分辨率损失所引发的细粒度细节处理能力差的问题。
• 通过在编码器与解码器层级之间实现多级特征融合，提升非结构化、稀疏 3D 点云中的特征表示能力。
• 通过注意力机制动态加权特征输出，增强卷积核点卷积的性能，提高特征质量与鲁棒性。
• 在多种 LiDAR 数据集（航空、移动与地面）上评估网络性能，以证明其在不同点云特性下的泛化能力与鲁棒性。

提出的方法

• Pyramid Point 网络采用密集金字塔结构，而非标准的 U-Net 架构，使特征不仅能在相同尺寸的编码器与解码器层级之间融合，还能在不同层级之间实现融合。
• 引入循环 FKP 残差瓶颈模块作为主干网络，利用聚焦核点卷积（FKP Conv）对卷积核输出施加空间与通道注意力，实现特征的动态加权。
• FKP Conv 通过在卷积核响应上应用最大池化与平均池化，并将结果通过可学习的注意力机制融合，以优化特征图，从而增强传统核点卷积的性能。
• 所有编码器与解码器层级的特征图均在多个层级上进行上采样并拼接，生成更具丰富性、噪声更少的表示，且感受野更加多样化。
• 网络采用多尺度特征聚合策略，在解码路径早期重新访问低层级特征，减少深层解码堆栈中的噪声累积。
• 该架构支持端到端训练，所有层级间均设有跳跃连接，确保有效梯度流动，提升对细粒度物体细节的学习能力。

Figure 1 : Example of the fundamental concept of our Pyramid Point network. The final output is based not only on an upsampling from the previous layers; but also on features from all network layers. By upsampling from each layer and then concatenating the features, we can get a richer combination w

实验结果

研究问题

• RQ1 与标准 U-Net 架构相比，能够实现多级特征融合的密集金字塔结构是否能显著提升 3D 点云语义分割性能？
• RQ2 在核点卷积中引入空间与通道注意力机制（通过 FKP Conv）是否能带来可量化的特征质量与分割精度提升？
• RQ3 FKP 残差瓶颈模块中循环隐藏层的数量如何影响模型在不同 LiDAR 数据集上的性能与泛化能力？
• RQ4 在 FKP Conv 中选择池化策略（最大池化、平均池化或两者结合）对最终分割 mIoU 的影响程度如何？
• RQ5 所提出的网络是否能在具有不同传感器类型、分辨率与遮挡模式的多样化 3D 点云数据集中实现具有竞争力或更优的性能？

主要发现

• 在 DALES 数据集上，Pyramid Point 达到所有已发表方法中的最高 mIoU，优于所有基线模型，包括 RandLA-Net 与 KPConv。
• 在 Paris-Lille 3D 数据集上，Pyramid Point 达到 90.2% 的最高 mIoU，超越所有其他已发表模型，包括使用先进注意力机制的模型。
• 在 reduced-8 Semantic3D 基准测试中，Pyramid Point 达到 83.2% 的 mIoU，总排名第二，仅以 0.1% 的差距落后于 RandLA-Net。
• 消融实验表明，将注意力机制引入核点卷积（即 FKP Conv）相比标准核点卷积，mIoU 提升了 4.7 个百分点。
• 在循环 FKP 残差瓶颈模块中，最优隐藏层数量为三个；当增加至四层时性能下降，表明表示能力与过拟合之间存在权衡。
• 在 FKP Conv 的注意力机制中同时结合最大池化与平均池化，可获得最佳性能（mIoU 90.2%），分别优于单一池化策略 3.1 和 1.9 个百分点。

Figure 2 : Example of the architecture of our Pyramid Point network. We construct the architecture in an inverse dense pyramid shape instead of the typical U shape. At the third layer, features are both downsampled and upsampled, and similarly, dimensioned layers are concatenated together in the fin