[论文解读] Shape As Points: A Differentiable Poisson Solver

Songyou Peng, Chiyu Max Jiang+4 more|arXiv (Cornell University)|Jun 7, 2021

3D Shape Modeling and Analysis参考文献 74被引用 5

一句话总结

本文提出了一种新颖的可微分3D形状表征方法——Shape-As-Points（SAP），该方法通过可微分泊松曲面重建（DPSR）层，将定向点云转换为封闭的、拓扑无关的网格，其核心是可学习的指示场。该方法实现了从点云到网格的端到端可微优化，梯度可反向传播至点云本身，推理速度比神经隐式模型快10倍，同时生成的表面质量更高，且无自相交问题，优于显式表示方法。

ABSTRACT

In recent years, neural implicit representations gained popularity in 3D reconstruction due to their expressiveness and flexibility. However, the implicit nature of neural implicit representations results in slow inference time and requires careful initialization. In this paper, we revisit the classic yet ubiquitous point cloud representation and introduce a differentiable point-to-mesh layer using a differentiable formulation of Poisson Surface Reconstruction (PSR) that allows for a GPU-accelerated fast solution of the indicator function given an oriented point cloud. The differentiable PSR layer allows us to efficiently and differentiably bridge the explicit 3D point representation with the 3D mesh via the implicit indicator field, enabling end-to-end optimization of surface reconstruction metrics such as Chamfer distance. This duality between points and meshes hence allows us to represent shapes as oriented point clouds, which are explicit, lightweight and expressive. Compared to neural implicit representations, our Shape-As-Points (SAP) model is more interpretable, lightweight, and accelerates inference time by one order of magnitude. Compared to other explicit representations such as points, patches, and meshes, SAP produces topology-agnostic, watertight manifold surfaces. We demonstrate the effectiveness of SAP on the task of surface reconstruction from unoriented point clouds and learning-based reconstruction.

研究动机与目标

• 解决神经隐式表征在3D重建中推理速度慢、可解释性差的问题。
• 实现从显式点云与隐式指示场之间端到端可微优化，用于网格生成。
• 开发一种轻量化、高效且鲁棒的形状表征方法，能够从非结构化点云生成封闭的、拓扑无关的网格。
• 在噪声和异常值存在的情况下，实现比现有方法更优的重建质量与推理速度。

提出的方法

• 提出一种可微分泊松曲面重建（DPSR）层，利用谱方法从定向点云计算隐式指示场。
• 采用快速、GPU加速的求解器，在约12 ms内完成128³网格的指示场计算，支持实时推理。
• 提出Shape-As-Points（SAP），一种新型形状表征方法，其形状以定向点云显式存储，并支持可微分网格生成。
• 通过泊松求解器实现反向传播，利用如Chamfer距离等表面重建损失优化点云位置。
• 采用可微分的Marching Cubes变体，从学习到的指示场中提取封闭的、流形的网格。
• 支持端到端训练，可对最终网格或中间指示场网格施加监督，实现点云与几何结构的联合优化。

实验结果

研究问题

• RQ1 可微分泊松求解器是否能够实现从定向点云出发的快速、可微分网格生成？
• RQ2 所提出的Shape-As-Points表征方法是否在重建质量与推理速度上优于神经隐式与显式表征方法？
• RQ3 SAP能否从无方向或含噪声的点云中生成拓扑无关、封闭且无自相交的网格？
• RQ4 在噪声与异常值存在的情况下，SAP与当前最先进学习型3D重建方法相比，在性能与效率上表现如何？

主要发现

• SAP的推理速度比神经隐式模型快10倍，128³指示场的计算时间仅为12 ms，而相当规模的隐式网络需330 ms。
• 在ShapeNet数据集上，SAP的Chamfer-L1得分达到0.048（优于Points2Surf的0.078），且推理速度快99.9%（0.064s vs. 70s）。
• SAP在所有测试类别中均生成了封闭且无自相交的网格，包括“步枪”和“台灯”等高难度类别，即使在50%异常值与0.025噪声条件下仍表现稳定。
• 在基于优化的设置中，SAP实现了0.936（平均）的F-Score与0.903的法向一致性，优于SPSR、3D-R2N2、AtlasNet与ConvONet。
• 该方法对初始化具有鲁棒性，支持基于模板或含噪声观测的形状重建，无需复杂网络微调。
• 仅经过3万次训练迭代，SAP的性能即接近经过30万次迭代训练的最优Points2Surf模型，展现出极高的样本效率。