[论文解读] Neural-Pull: Learning Signed Distance Functions from Point Clouds by Learning to Pull Space onto Surfaces

Baorui Ma, Zhizhong Han+2 more|arXiv (Cornell University)|Nov 26, 2020

3D Shape Modeling and Analysis参考文献 63被引用 47

一句话总结

Neural-Pull 训练一个神经网络来预测点云的带符号距离值及其梯度，并使用一个可微的拉回操作将查询点移动到曲面，从而为曲面重建和单图像重建产生高质量的 SDF。

ABSTRACT

Reconstructing continuous surfaces from 3D point clouds is a fundamental operation in 3D geometry processing. Several recent state-of-the-art methods address this problem using neural networks to learn signed distance functions (SDFs). In this paper, we introduce extit{Neural-Pull}, a new approach that is simple and leads to high quality SDFs. Specifically, we train a neural network to pull query 3D locations to their closest points on the surface using the predicted signed distance values and the gradient at the query locations, both of which are computed by the network itself. The pulling operation moves each query location with a stride given by the distance predicted by the network. Based on the sign of the distance, this may move the query location along or against the direction of the gradient of the SDF. This is a differentiable operation that allows us to update the signed distance value and the gradient simultaneously during training. Our outperforming results under widely used benchmarks demonstrate that we can learn SDFs more accurately and flexibly for surface reconstruction and single image reconstruction than the state-of-the-art methods.

研究动机与目标

• 直接从原始三维点云学习带符号距离函数，而无需真实的带符号距离监督。
• 通过使点云直接学习 SDF，克服基于无符号距离的方法的局限。
• 提出一个可微的空间拉回机制，使用预测的距离和梯度将查询点与表面对齐。
• 在标准基准上展示改进的表面重建精度，并扩展到单图像重建。

提出的方法

• 在给定点云作为条件的情况下，训练一个神经网络以预测在三维查询位置的带符号距离值及其梯度。
• 定义一个可微的拉回操作，使用预测的距离和梯度将每个查询位置向其最近的表面点移动，步长与距离成正比。
• 将 q_i 拉回到 t_i' = q_i - f(c, q_i) * grad f(c, q_i) / ||grad f(c, q_i)||，并处理符号以沿梯度方向移动或相反方向移动。
• 通过各向同性高斯分布在表面点附近采样查询位置，方差与局部点密度相关的自适应。
• 使用拉回查询位置与最近表面点之间的平方损失进行优化，有效地鼓励收敛到带符号距离场。
• 用几何网络初始化来初始化网络参数，以近似球体的 SDF，并用 Adam 训练 2500 轮。

实验结果

研究问题

• RQ1 神经网络是否能够直接从原始点云中学习到真实的带符号距离函数，而无需带符号距离监督？
• RQ2 利用预测的距离和梯度的可微空间拉回操作，是否比无符号距离或梯度正则化方法取得更准确的表面重建？
• RQ3 在表面附近采样查询位置如何影响学习效率和最终的 SDF 精度？
• RQ4 在学习 SDF 时，神经网络对嘈杂点云或点密度变化的鲁棒性如何？
• RQ5 该方法是否能通过将图像视为条件输入，扩展到单图像重建？

主要发现

• Neural-Pull 在 ABC、FAMOUS 和 ShapeNet 派生基准上实现卓越的表面重建精度，相较于若干 state-of-the-art 方法（在所述表格中给出的平均 L2-CD 改进）。
• 该方法直接从点云学习 SDF，而无需带符号距离的真值，并且优于基于无符号距离的方法。
• 利用预测的 SDF 值及其梯度的可微拉回操作促进有效优化并收敛到有效的 SDF。
• 在表面附近采样查询位置以及几何网络初始化（GNI）显著提升学习；仅空间采样或去除 GNI 将降低性能。
• Neural-Pull 展现出对单图像重建和真实图像输入的强泛化能力，产生高保真表面重建。