[论文解读] Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit Neural Representation

Wenbo Zhao, Xianming Liu+5 more|arXiv (Cornell University)|Apr 18, 2022

3D Shape Modeling and Analysis被引用 5

一句话总结

本文提出了一种基于隐式神经表示的自监督、任意尺度点云上采样方法。该方法将上采样建模为通过可学习的方向与距离函数将种子点投影到隐式表面上的过程，通过预训练任务进行训练，无需真实密集点云数据，实现了在不同尺度因子下的最先进视觉质量与具有竞争力的定量性能。

ABSTRACT

Point clouds upsampling is a challenging issue to generate dense and uniform point clouds from the given sparse input. Most existing methods either take the end-to-end supervised learning based manner, where large amounts of pairs of sparse input and dense ground-truth are exploited as supervision information; or treat up-scaling of different scale factors as independent tasks, and have to build multiple networks to handle upsampling with varying factors. In this paper, we propose a novel approach that achieves self-supervised and magnification-flexible point clouds upsampling simultaneously. We formulate point clouds upsampling as the task of seeking nearest projection points on the implicit surface for seed points. To this end, we define two implicit neural functions to estimate projection direction and distance respectively, which can be trained by two pretext learning tasks. Experimental results demonstrate that our self-supervised learning based scheme achieves competitive or even better performance than supervised learning based state-of-the-art methods. The source code is publicly available at https://github.com/xnowbzhao/sapcu.

研究动机与目标

• 解决监督式点云上采样方法依赖大规模成对稀疏-密集数据集且分布存在偏差的问题。
• 克服现有深度学习方法固定尺度的局限性，避免为不同上采样因子分别训练网络。
• 开发一种统一的、可调节放大倍数的上采样框架，能够良好泛化至真实世界及噪声输入。
• 通过将上采样建模为隐式表面最近投影问题，实现自监督训练，从而消除对真实密集点云的依赖。

提出的方法

• 将点云上采样建模为寻找种子点在由神经函数定义的隐式表面上最近投影的过程。
• 引入两种隐式神经函数：一种用于预测投影方向，另一种用于估计到表面的距离。
• 通过两种预训练任务（预测点之间的相对位置与重建局部几何结构）对两个函数进行训练，无需真实密集点云。
• 采用多尺度采样策略，使用参数 M 平衡投影过程中的连续性与异常值控制。
• 在投影后增加异常值移除步骤，以提升表面均匀性并减少伪影。
• 采用最远点采样方法，将生成的过采样输出调整至目标点数，以确保最终点数符合要求。

Figure 1 : The network architecture of implicit neural function.

实验结果

研究问题

• RQ1 点云上采样是否能在无需成对稀疏与密集真实点云数据的情况下，实现有效的自监督训练？
• RQ2 单一统一模型是否能无需微调或模型重构即可处理任意上采样尺度因子？
• RQ3 采样邻域大小 M 的选择如何影响投影点云的质量与连续性？
• RQ4 所提方法在真实世界扫描、噪声数据或非均匀采样输入下的泛化能力如何？
• RQ5 隐式神经表示是否能有效建模底层表面，以实现高质量、密集且均匀的点云生成？

主要发现

• 所提方法在视觉质量上达到或优于最先进监督方法，尤其在保留精细结构与轮廓方面表现优异。
• 在 KITTI 数据集的真实扫描中表现良好，即使输入稀疏且非均匀，也能生成高质量密集点云。
• 在不同输入尺寸与噪声水平下，方法保持一致且均匀的点云分布，展现出强鲁棒性。
• 消融实验表明，增大 M 可提升表面连续性，但会引入更多异常值，而所提移除步骤能有效减少这些异常值。
• 模型在多个放大倍数（如 4×、8×）下无需微调即可良好运行，验证了其放大灵活性。
• 尽管经过异常值移除，仍存在少量异常值，最终点数通过最远点采样调整，以应对生成过程中的过采样问题。

Figure 2 : $4\times$ point upsampling results of Chair , Camel and Fandisk . (a) the input point cloud; (b) the ground truth; (c) to (i) the results of PU-Net [ 21 ] , MPU [ 20 ] , PU-GAN [ 7 ] , PU-GCN [ 13 ] , PU-DR [ 8 ] , Meta-PU [ 19 ] and ours. Please enlarge the PDF for more details.