[论文解读] PC$^2$-PU: Patch Correlation and Point Correlation for Effective Point Cloud Upsampling

Long Chen, Wenxiao Zhang+4 more|arXiv (Cornell University)|Sep 20, 2021

3D Shape Modeling and Analysis被引用 6

一句话总结

本文提出PC²-PU，一种新颖的点云上采样方法，通过建模块与模块之间以及点与点之间的相关性，提升空间一致性。通过引入模块相关性模块（PaCM）以利用相邻模块之间的关系，以及点相关性模块（PoCM）以保持局部几何结构，该方法在干净和噪声输入下均实现了最先进性能，在准确性和鲁棒性方面优于先前方法。

ABSTRACT

Point cloud upsampling is to densify a sparse point set acquired from 3D sensors, providing a denser representation for the underlying surface. Existing methods divide the input points into small patches and upsample each patch separately, however, ignoring the global spatial consistency between patches. In this paper, we present a novel method PC$^2$-PU, which explores patch-to-patch and point-to-point correlations for more effective and robust point cloud upsampling. Specifically, our network has two appealing designs: (i) We take adjacent patches as supplementary inputs to compensate the loss structure information within a single patch and introduce a Patch Correlation Module to capture the difference and similarity between patches. (ii) After augmenting each patch's geometry, we further introduce a Point Correlation Module to reveal the relationship of points inside each patch to maintain the local spatial consistency. Extensive experiments on both synthetic and real scanned datasets demonstrate that our method surpasses previous upsampling methods, particularly with the noisy inputs. The code and data are at \url{https://github.com/chenlongwhu/PC2-PU.git}.

研究动机与目标

• 为解决现有上采样方法孤立处理模块的局限性，忽略全局空间一致性的问题。
• 通过引入超越单个模块的结构关系，提升对噪声和稀疏输入的鲁棒性。
• 通过建模每个模块内点与点之间的关系，保持上采样过程中的局部几何保真度。
• 开发一种轻量化但高效的网络，在性能与推理效率之间实现平衡。

提出的方法

• 该方法引入模块相关性模块（PaCM），通过编码相邻模块之间点位置的相似性与差异性，补偿孤立模块中缺失的结构信息。
• 点相关性模块（PoCM）使用局部空间编码器，对每个模块内点之间的相对位置关系进行建模，增强局部几何一致性。
• PaCM与PoCM联合优化，以抑制伪点生成和噪声，提升表面保真度。
• 网络采用基于模块的方法，将相邻模块作为补充输入，避免使用更大的模块尺寸。
• 通过将Transformer操作限制在局部邻域内，避免在整个点云上使用重型Transformer层，从而提升推理速度。
• 该方法端到端训练，以预测均匀分布且准确位于底层表面的密集点云。

实验结果

研究问题

• RQ1 如何利用模块与模块之间的关系，以提升点云上采样过程中的几何一致性？
• RQ2 在上采样过程中，对模块内点与点之间的关系进行建模，在多大程度上能增强局部表面保真度？
• RQ3 能否设计一种轻量化网络，结合局部与全局相关性，优于现有最先进方法在噪声和稀疏输入下的表现？
• RQ4 与基线方法相比，该方法在不同模块尺寸和输入质量下的泛化能力如何？

主要发现

• 在4倍上采样下，PC²-PU在ShapeNet数据集上实现了最低的Chamfer距离（CD）0.2321×10⁻³，优于先前最先进方法Dis-PU（0.2560×10⁻³）。
• 在噪声输入下，PC²-PU的CD为0.5099×10⁻³，显著优于Dis-PU（0.5339×10⁻³），证明其具有更优的鲁棒性。
• 该方法保持了强大的泛化能力，在PU1K基准测试中实现了1.4940×10⁻³的P2F-mean，优于AG-GCN和Dis-PU。
• 模型复杂度较低，仅需1.71MB可训练参数和4.1867ms推理时间，尽管性能优异，仍保持高效。
• 将模块尺寸从x2增加到x4会降低性能，证实PaCM的模块相关性优于更大的感受野。
• 消融实验表明，移除SPNE和LSE组件会导致性能显著下降，验证了两个相关性模块的重要性。