[论文解读] Point Cloud Upsampling via Cascaded Refinement Network

Hang Du, Xuejun Yan+3 more|arXiv (Cornell University)|Oct 8, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

本文提出了一种用于点云上采样的级联优化网络，采用三个相同的阶段——两个用于渐进式上采样，一个用于优化——每个阶段均从输入回归点偏移量，以简化训练并避免复杂的策略。该方法在合成数据集和真实扫描数据集上均实现了最先进性能，提升了保真度与均匀性，同时通过可选的优化阶段实现了动态推理效率。

ABSTRACT

Point cloud upsampling focuses on generating a dense, uniform and proximity-to-surface point set. Most previous approaches accomplish these objectives by carefully designing a single-stage network, which makes it still challenging to generate a high-fidelity point distribution. Instead, upsampling point cloud in a coarse-to-fine manner is a decent solution. However, existing coarse-to-fine upsampling methods require extra training strategies, which are complicated and time-consuming during the training. In this paper, we propose a simple yet effective cascaded refinement network, consisting of three generation stages that have the same network architecture but achieve different objectives. Specifically, the first two upsampling stages generate the dense but coarse points progressively, while the last refinement stage further adjust the coarse points to a better position. To mitigate the learning conflicts between multiple stages and decrease the difficulty of regressing new points, we encourage each stage to predict the point offsets with respect to the input shape. In this manner, the proposed cascaded refinement network can be easily optimized without extra learning strategies. Moreover, we design a transformer-based feature extraction module to learn the informative global and local shape context. In inference phase, we can dynamically adjust the model efficiency and effectiveness, depending on the available computational resources. Extensive experiments on both synthetic and real-scanned datasets demonstrate that the proposed approach outperforms the existing state-of-the-art methods.

研究动机与目标

• 解决单阶段点云上采样网络在密度、均匀性与保真度之间难以平衡的局限性。
• 通过消除学习率预热或渐进式训练等复杂策略，简化从粗到细上采样的训练过程。
• 通过使优化阶段可选，基于计算资源实现动态推理效率。
• 通过基于Transformer的模块提升特征表示能力，以捕捉局部与全局形状上下文。

提出的方法

• 该框架采用三个级联的相同架构阶段：两个上采样阶段逐步生成更密集的点云，随后是优化阶段对点位置进行调整。
• 每个阶段预测相对于输入形状的点坐标偏移量，通过残差学习降低优化难度与学习冲突。
• 基于Transformer的特征提取模块利用点特征上的自注意力机制，聚合局部与全局形状上下文。
• 双分支特征扩展模块通过学习几何变化而非复制初始特征，增强上采样后的特征。
• 整个网络端到端训练，无需额外训练策略，如学习率预热或渐进式阶段激活。
• 推理阶段支持动态选择：可跳过优化阶段以实现更快推理，从而在速度与质量之间实现权衡。

实验结果

研究问题

• RQ1 是否可以无需预热或渐进式激活等复杂训练策略，有效训练从粗到细的上采样框架？
• RQ2 点偏移的残差学习在多阶段点云上采样中如何改善优化过程？
• RQ3 与MLP或GCN-based方法相比，基于Transformer的特征提取器在形状上下文建模方面提升程度如何？
• RQ4 在计算资源受限时，模型能否在保持高性能的同时实现推理阶段的动态调整？

主要发现

• 所提出的三阶段级联优化网络在真实扫描数据集上实现了0.471×10⁻³的Chamfer距离（CD），优于现有最先进方法。
• 优化阶段显著提升了点云质量，将CD从两阶段的0.513×10⁻³降低至三阶段的0.471×10⁻³。
• 基于Transformer的特征提取器性能优于MLP-based（CD: 0.628×10⁻³）与DenseGCN-based（CD: 0.531×10⁻³）替代方案。
• 残差学习使网络无需预热或渐进策略即可实现有效训练，CD为0.471×10⁻³，优于非残差基线（CD: 0.733×10⁻³）。
• 模型支持动态推理：跳过优化阶段可将每样本推理时间从10.8ms降至7.3ms，同时保持优异性能。
• 定性结果表明，使用球面 pivoting 算法重建的表面更加平滑，证实了均匀性与保真度的提升。