[论文解读] PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling

Yue Qian, Junhui Hou+2 more|arXiv (Cornell University)|Feb 24, 2020

3D Shape Modeling and Analysis参考文献 17被引用 12

一句话总结

PUGeo-Net 是一种以几何为中心的深度学习框架，用于三维点云上采样，通过显式建模曲面的第一基本形式和第二基本形式，生成密集且分布均匀、法线准确的点云。通过学习局部参数化映射（利用 3×3 变换矩阵 T）并利用第二基本形式进行法向位移投影，该方法在 4× 至 16× 上采样倍数下，相较于最先进方法在精度和效率方面表现更优，同时联合回归坐标与法线。

ABSTRACT

This paper addresses the problem of generating uniform dense point clouds to describe the underlying geometric structures from given sparse point clouds. Due to the irregular and unordered nature, point cloud densification as a generative task is challenging. To tackle the challenge, we propose a novel deep neural network based method, called PUGeo-Net, that learns a $3 imes 3$ linear transformation matrix $\bf T$ for each input point. Matrix $\mathbf T$ approximates the augmented Jacobian matrix of a local parameterization and builds a one-to-one correspondence between the 2D parametric domain and the 3D tangent plane so that we can lift the adaptively distributed 2D samples (which are also learned from data) to 3D space. After that, we project the samples to the curved surface by computing a displacement along the normal of the tangent plane. PUGeo-Net is fundamentally different from the existing deep learning methods that are largely motivated by the image super-resolution techniques and generate new points in the abstract feature space. Thanks to its geometry-centric nature, PUGeo-Net works well for both CAD models with sharp features and scanned models with rich geometric details. Moreover, PUGeo-Net can compute the normal for the original and generated points, which is highly desired by the surface reconstruction algorithms. Computational results show that PUGeo-Net, the first neural network that can jointly generate vertex coordinates and normals, consistently outperforms the state-of-the-art in terms of accuracy and efficiency for upsampling factor $4\sim 16$.

研究动机与目标

• 为从稀疏输入生成均匀、密集的三维点云，同时保留复杂几何细节和锐利特征提供解决方案。
• 克服现有深度学习方法将上采样视为特征空间生成任务而缺乏显式几何建模的局限性。
• 开发一种联合预测顶点坐标与表面法线的方法，这对后续的表面重建至关重要。
• 以系统性方式将离散微分几何整合到深度学习中，超越图像超分辨率启发的网络架构。

提出的方法

• 网络为每个输入点学习一个 3×3 线性变换矩阵 T，近似局部曲面参数化的增广雅可比矩阵，以将二维参数化采样点映射到三维空间。
• 从数据中学习自适应的二维采样点，并利用预测的变换矩阵 T 将其提升至三维，确保二维域与三维切平面之间的对应关系。
• 学习第二基本形式以计算每个生成点的法向位移 δ，将点从切平面投影到曲面之上。
• 采用粗到细的预测策略，通过迭代细化提升初始预测的精度。
• 网络引入特征重校准与多尺度特征融合，以增强表征学习能力。
• 对坐标与法线进行联合监督，实现端到端训练，提升几何一致性。

实验结果

研究问题

• RQ1 深度神经网络能否以可微分、几何感知的方式显式建模第一基本形式与第二基本形式，以恢复局部曲面几何？
• RQ2 通过变换矩阵 T 学习参数化映射，相较于特征空间生成方法，如何提升点云上采样性能？
• RQ3 联合预测坐标与法线是否能带来更好的性能与表面重建任务中的实用性？
• RQ4 与固定网格采样相比，自适应二维采样在保留锐利特征与几何细节方面表现如何？
• RQ5 该方法在噪声和非均匀分布的输入点云下具有多强的鲁棒性？

主要发现

• 在 4× 至 16× 上采样倍数的基准数据集上，PUGeo-Net 的切比雪夫距离（CD）最低，为 0.323，豪斯多夫距离（HD）为 1.011，优于所有对比方法。
• 消融实验表明，线性变换模块至关重要，若移除该模块，CD 上升 25%（从 0.323 上升至 0.394），证明其具有显著的几何意义。
• 联合回归坐标与法线相比仅回归坐标的方案，性能更优，CD 降低 1.8%，HD 降低 1.0%。
• 预测的变换矩阵 T 与解析雅可比矩阵高度一致，预测法向与真实法向之间夹角低于 3 度的占比达 97%。
• 在光滑区域（如单位球体）中，法向位移 δ 值分布较窄，而在锐利边缘附近（如单位立方体）则更宽，验证了几何一致性。
• PUGeo-Net 对噪声和非均匀输入具有强鲁棒性，能保持高保真度，并为原始点与生成点均生成准确的法线。