[论文解读] PU-GCN: Point Cloud Upsampling using Graph Convolutional Networks

Guocheng Qian, Abdulellah Abualshour+3 more|arXiv (Cornell University)|Nov 30, 2019

3D Shape Modeling and Analysis参考文献 41被引用 27

一句话总结

本文提出PU-GCN，一种新颖的点云上采样框架，整合了基于图卷积网络的上采样模块（NodeShuffle）与多尺度特征提取器（Inception DenseGCN）。通过利用GCN建模局部点邻域并实现密集的多尺度特征学习，PU-GCN在参数量更少、推理速度更快的前提下实现了最先进性能，在合成数据与真实世界数据上均优于先前方法。

ABSTRACT

The effectiveness of learning-based point cloud upsampling pipelines heavily relies on the upsampling modules and feature extractors used therein. For the point upsampling module, we propose a novel model called NodeShuffle, which uses a Graph Convolutional Network (GCN) to better encode local point information from point neighborhoods. NodeShuffle is versatile and can be incorporated into any point cloud upsampling pipeline. Extensive experiments show how NodeShuffle consistently improves state-of-the-art upsampling methods. For feature extraction, we also propose a new multi-scale point feature extractor, called Inception DenseGCN. By aggregating features at multiple scales, this feature extractor enables further performance gain in the final upsampled point clouds. We combine Inception DenseGCN with NodeShuffle into a new point upsampling pipeline called PU-GCN. PU-GCN sets new state-of-art performance with much fewer parameters and more efficient inference.

研究动机与目标

• 解决现有点云上采样方法在保留局部几何细节与结构保真度方面的局限性。
• 通过学习无下采样损失的多尺度局部结构，提升上采样流水线中的特征表示能力。
• 开发一种轻量化、高效且可泛化的上采样模块，可无缝集成至现有架构中。
• 提出一个新的大规模基准数据集PU1K，用于评估并挑战当前基于学习的上采样方法。
• 证明基于GCN的点邻域建模显著优于基于MLP或重复复制的方法，能大幅提升上采样质量。

提出的方法

• 提出NodeShuffle，一种基于图卷积网络的上采样模块，通过GCN层编码局部点邻域信息，生成结构一致的新点。
• 提出Inception DenseGCN，一种受Inception模块启发的多路径、密集连接的GCN架构，旨在提取多感受野特征，提升多尺度表征能力。
• 将NodeShuffle与Inception DenseGCN整合为统一的端到端学习流水线，称为PU-GCN，实现增强的特征学习与点生成能力。
• 在NodeShuffle模块中引入残差连接与全局池化，以稳定训练并改善特征传播。
• 在NodeShuffle中使用空洞图卷积，扩大感受野的同时不增加参数量或计算成本。
• 在合成点云与真实扫描点云上进行模型训练与评估，包括新引入的大规模数据集PU1K。

实验结果

研究问题

• RQ1 基于GCN的上采样模块是否能在保留细粒度几何细节方面超越传统的重复复制或MLP-based上采样器？
• RQ2 通过类似Inception的GCN架构实现多尺度特征学习，是否能提升上采样点云的质量，相比单尺度或下采样后的多尺度方法？
• RQ3 所提出的NodeShuffle模块能否有效迁移并集成至现有上采样流水线中，实现性能提升而无需对架构进行大规模修改？
• RQ4 PU-GCN在噪声多、稀疏的真实世界点云上的表现如何，相较于最先进方法？
• RQ5 新提出的PU1K数据集在多大程度上挑战了现有的基于学习的上采样模型？

主要发现

• 在PU1K数据集上，PU-GCN实现了最低的Chamfer Distance（CD）为0.585 × 10⁻³与Hausdorff Distance（HD）为7.577 × 10⁻³，全面优于所有先前方法。
• 与原始3PU基线相比，当用NodeShuffle模块替换其上采样模块时，CD降低16.6%，HD降低43.4%。
• PU-GCN在仅使用43%参数量与13%更短推理时间的前提下，性能优于PU-Net与3PU。
• 消融实验表明，NodeShuffle中的GCN层优于等效MLP，且移除残差连接或全局池化会显著降低性能。
• PU-GCN在不同输入尺寸下均表现出良好泛化能力，即使在加入高达10%高斯噪声时仍能保持高质量输出，且在异常值抑制与细节保留方面优于PU-GAN。
• 定性结果表明，与3PU和PU-GAN相比，PU-GCN能生成更精细的细节（如水龙头颈部与球体）并减少伪影，尤其在真实扫描数据上表现更优。