[论文解读] Neural Points: Point Cloud Representation with Neural Fields for Arbitrary Upsampling

Wanquan Feng, Jin Li+3 more|arXiv (Cornell University)|Dec 8, 2021

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出 Neural Points，一种新颖的点云表示方法，其中每个点通过神经场编码局部连续几何形状，实现任意倍数的上采样并保持优异的细节保真度。通过利用深度特征和共享神经场，学习二维参数域与三维表面 patch 之间的局部同构关系，Neural Points 在上采样任务中实现了最先进性能，展现出对多样化输入和噪声水平的强泛化能力与鲁棒性。

ABSTRACT

In this paper, we propose Neural Points, a novel point cloud representation and apply it to the arbitrary-factored upsampling task. Different from traditional point cloud representation where each point only represents a position or a local plane in the 3D space, each point in Neural Points represents a local continuous geometric shape via neural fields. Therefore, Neural Points contain more shape information and thus have a stronger representation ability. Neural Points is trained with surface containing rich geometric details, such that the trained model has enough expression ability for various shapes. Specifically, we extract deep local features on the points and construct neural fields through the local isomorphism between the 2D parametric domain and the 3D local patch. In the final, local neural fields are integrated together to form the global surface. Experimental results show that Neural Points has powerful representation ability and demonstrate excellent robustness and generalization ability. With Neural Points, we can resample point cloud with arbitrary resolutions, and it outperforms the state-of-the-art point cloud upsampling methods. Code is available at https://github.com/WanquanF/NeuralPoints.

研究动机与目标

• 解决传统离散点云表示能力有限的问题，其受有限分辨率限制，无法捕捉精细几何细节。
• 克服现有“离散到离散”上采样方法在不同分辨率因子和噪声输入下泛化能力差的局限。
• 开发一种连续的、无分辨率限制的点云表示方法，通过局部神经场建模保留丰富的几何细节。
• 通过整合局部神经场构建全局连续表面，实现任意倍数的上采样。
• 在真实扫描、噪声数据和 LiDAR 数据等多样化数据上，展示方法的鲁棒性与泛化能力。

提出的方法

• 输入点云中的每个点都关联一个局部 3D 表面 patch，该 patch 通过神经场从二维参数域到 3D 局部表面 patch 的连续双射映射表示。
• 从每个点提取局部深度特征，并将其作为条件输入送入神经场网络，以编码局部几何信息。
• 神经场学习二维参数域与 3D 局部表面 patch 之间的局部同构关系，确保映射平滑且可逆。
• 在具有丰富几何细节的高分辨率表面上训练共享神经网络，从而实现对多样化形状的泛化能力。
• 通过设计的融合策略整合所有局部神经场，重建全局连续表面。
• 通过采样连续的 Neural Points 表面生成任意分辨率的点云，实现无分辨率限制的上采样。

实验结果

研究问题

• RQ1 通过神经场编码局部连续几何形状的点云表示，是否能在上采样任务中超越传统离散表示方法？
• RQ2 基于深度局部特征条件化的共享局部神经场是否能提升在多样化和噪声输入下的泛化能力与鲁棒性？
• RQ3 所提方法是否能在极大上采样因子（如 256×）下保持高质量结果，而不会像现有方法那样出现退化？
• RQ4 Neural Points 表示在真实世界、噪声大且非均匀采样的数据（如深度相机和 LiDAR 扫描）上的表现如何？
• RQ5 该模型在未见数据集上无需微调的情况下，其泛化能力能达到何种程度？

主要发现

• Neural Points 在标准上采样基准测试中达到最先进性能，优于 PU-GAN、PU-GCN 和 Dis-PU 等方法，在定量指标和视觉质量上均表现更优。
• 即使在极端上采样因子（如 256×）下，该方法仍能保持高质量结果，而仅针对 16× 训练的基线方法在两次级联应用后出现显著退化。
• 在 iPhone X 深度传感器捕获的真实数据上，Neural Points 成功保留了精细几何特征，避免了伪影；而 Dis-PU 无法维持几何结构，PUGeo-Net 则引入了明显失真。
• 该模型在未见数据集（如 PU-GAN 基准）上无需微调即可实现最佳性能，定量与定性评估均表现最优。
• Neural Points 对高斯噪声表现出强鲁棒性，能保持表面平滑准确，而其他方法则产生褶皱或扭曲结果。
• 该方法在 KITTI 数据集的 LiDAR 扫描数据上也实现了高质量结果，证实其在真实世界 3D 感知数据中的适用性。