[论文解读] Patch-based Progressive 3D Point Set Upsampling

Yifan Wang, Shihao Wu+3 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Vision and Imaging参考文献 47被引用 38

一句话总结

该论文提出了一种基于图像块的渐进式3D点云上采样网络，通过端到端训练多尺度、块感知的子网络级联结构，提升了几何细节恢复能力。通过自适应感受野以及密集连接、双边特征插值等架构创新，逐步优化局部几何结构，该方法在处理稀疏、噪声输入以及重建细粒度表面细节方面达到了最先进性能。

ABSTRACT

We present a detail-driven deep neural network for point set upsampling. A high-resolution point set is essential for point-based rendering and surface reconstruction. Inspired by the recent success of neural image super-resolution techniques, we progressively train a cascade of patch-based upsampling networks on different levels of detail end-to-end. We propose a series of architectural design contributions that lead to a substantial performance boost. The effect of each technical contribution is demonstrated in an ablation study. Qualitative and quantitative experiments show that our method significantly outperforms the state-of-the-art learning-based and optimazation-based approaches, both in terms of handling low-resolution inputs and revealing high-fidelity details.

研究动机与目标

• 为解决从真实扫描中常见的稀疏且含噪声的3D点云中重建高保真几何细节的挑战。
• 克服现有基于学习和基于优化的方法在保持大尺度与细粒度结构方面的局限性。
• 通过使用自适应块基子网络，实现在无需参数呈指数增长的前提下，对高倍率上采样网络进行端到端训练。
• 通过新颖的架构组件改进特征提取、扩展以及跨层级特征传播。

提出的方法

• 该方法采用多阶段渐进式上采样流水线，每个阶段通过基于图像块的子网络专注于特定级别的几何细节。
• 每个子网络处理具有自适应空间范围的局部块，随着感受野尺寸减小而逐步缩小，从而实现对局部几何的聚焦学习。
• 引入密集连接以实现逐点特征提取，增强局部邻域内的特征表示能力。
• 采用码本分配方法高效地将低分辨率特征扩展至高分辨率输出，替代标准转置卷积。
• 提出双边特征插值以在各阶段间传播特征，提升跨层级特征一致性与细节传递效果。
• 整个网络以渐进方式端到端训练，每个阶段依次在前一阶段的输出上进行训练。

实验结果

研究问题

• RQ1 基于渐进式、块基架构的方法是否能在从稀疏输入中重建细粒度几何细节方面优于单阶段学习方法？
• RQ2 基于感受野尺度的自适应块大小相比固定大小或全局处理方式，如何提升细节恢复能力？
• RQ3 密集连接与码本分配等架构创新在多大程度上提升了性能与参数效率？
• RQ4 与最先进方法相比，该方法在真实3D扫描中的噪声与稀疏性下具有多强的鲁棒性？

主要发现

• 所提方法在定量指标与定性细节恢复方面显著优于最先进学习方法（如PU-Net与EC-Net），尤其在低分辨率与含噪声输入下表现更优。
• 消融研究证实，采用基于块处理的渐进式训练相比直接16×上采样或迭代单阶段训练，能获得更高的几何保真度。
• 该方法对噪声与稀疏性表现出卓越鲁棒性，在点云删除50%或添加高达2%高斯噪声的情况下仍能保持高质量输出。
• 密集连接、码本分配与双边特征插值的集成带来了可测量的性能提升，并增强了参数效率。
• 在Intel RealSense SR300的真实扫描数据上，经WLOP预处理降噪后，该方法成功恢复出干净、密集且细节丰富的点云。