[论文解读] PointAtrousGraph: Deep Hierarchical Encoder-Decoder with Point Atrous Convolution for Unorganized 3D Points

Liang Pan, Chee–Meng Chew+1 more|arXiv (Cornell University)|Jul 23, 2019

3D Shape Modeling and Analysis参考文献 65被引用 7

一句话总结

本文提出PointAtrousGraph（PAG），一种用于无序3D点云的深度排列不变分层编码器-解码器网络，通过引入点空洞卷积（PAC）来捕捉具有扩大感受野的多尺度边缘特征。通过集成边缘保持池化（EP）、边缘保持上采样（EU）以及级联跳跃连接，PAG在下采样和上采样过程中保留了关键的几何细节，在3D语义分割、物体分类和部件分割任务中实现了最先进性能，且相比先前方法具有更低的显存占用和更快的推理速度。

ABSTRACT

Motivated by the success of encoding multi-scale contextual information for image analysis, we propose our PointAtrousGraph (PAG) - a deep permutation-invariant hierarchical encoder-decoder for efficiently exploiting multi-scale edge features in point clouds. Our PAG is constructed by several novel modules, such as Point Atrous Convolution (PAC), Edge-preserved Pooling (EP) and Edge-preserved Unpooling (EU). Similar with atrous convolution, our PAC can effectively enlarge receptive fields of filters and thus densely learn multi-scale point features. Following the idea of non-overlapping max-pooling operations, we propose our EP to preserve critical edge features during subsampling. Correspondingly, our EU modules gradually recover spatial information for edge features. In addition, we introduce chained skip subsampling/upsampling modules that directly propagate edge features to the final stage. Particularly, our proposed auxiliary loss functions can further improve our performance. Experimental results show that our PAG outperform previous state-of-the-art methods on various 3D semantic perception applications.

研究动机与目标

• 为解决无序3D点云中学习多尺度局部几何特征的挑战，这些点云具有不规则性和排列敏感性。
• 克服传统点卷积方法感受野有限的问题，后者限制了对小局部邻域上下文的捕捉。
• 设计一种分层编码器-解码器架构，在下采样和上采样过程中保留边缘特征，避免精细几何细节的丢失。
• 相比基于邻域图的模型，降低训练显存占用和推理时间，同时保持或提升性能。
• 通过新颖的辅助损失函数（MMD和深度监督损失）提升3D语义感知任务的性能。

提出的方法

• 提出点空洞卷积（PAC），通过引入采样率对邻近点进行稀疏采样，将空洞卷积扩展至点云，从而在不增加计算量的前提下扩大有效感受野。
• 提出边缘保持池化（EP），一种非重叠的最大池化变体，通过基于几何重要性的方法选择代表性点，在分层下采样过程中保留关键边缘特征。
• 开发边缘保持上采样（EU），通过在度量空间中从最近的保留点传播特征，实现在上采样过程中重建空间细节。
• 采用级联跳跃下采样/上采样模块，直接将低层特征传递至高层，保持长距离特征流动并减少信息损失。
• 引入辅助损失：最大均值差异（MMD）损失用于对齐各层之间的特征分布，深度监督损失用于稳定训练并改善特征学习。

实验结果

研究问题

• RQ1 分层编码器-解码器架构是否能有效学习无序3D点云中的多尺度局部几何特征，同时保留边缘细节？
• RQ2 空洞卷积原理如何适配至3D点云，以在不增加计算成本的前提下实现大而灵活的感受野？
• RQ3 与标准池化方法相比，边缘保持池化和上采样操作在3D语义分割中对特征表示的提升程度如何？
• RQ4 MMD和深度监督等辅助损失是否能增强3D点云网络中的特征学习与模型泛化能力？
• RQ5 所提出的架构是否在性能上优于现有基于邻域图的模型，同时实现更低的显存占用和更短的推理时间？

主要发现

• PAG在多个基准数据集（包括ShapeNet和S3DIS）上的3D语义分割、物体分类和部件分割任务中均达到最先进性能。
• 与DGCNN（275.4 ms，3.2M参数）和SpiderCNN（275.4 ms，3.2M参数）相比，PAG实现了更快的推理速度（109.8 ms）和更少的参数量（1.8M），表明其效率更高。
• 通过不同采样率使用PAC实现了有效的多尺度特征学习，实验表明在特征空间中进行特征提取比在度量空间中收敛更快且精度更高。
• 边缘保持池化和上采样操作显著减少了分层处理过程中几何细节的损失，S3DIS和ShapeNet上的定性结果验证了这一点。
• 辅助MMD损失和深度监督损失使训练更加稳定，并显著提升了性能，尤其在具有细粒度结构的复杂3D场景中表现更优。
• 模型在非旋转训练设置下表现出强鲁棒性，性能波动极小，表明其具备出色的泛化能力。