[论文解读] SALD: Sign Agnostic Learning with Derivatives

Matan Atzmon, Yaron Lipman|arXiv (Cornell University)|Jun 9, 2020

3D Shape Modeling and Analysis参考文献 44被引用 5

一句话总结

SALD 提出了一种无符号的损失学习方法，将无符号距离函数值及其梯度共同引入神经网络损失函数，从而实现从原始3D数据（如无方向点云和三角面片）中高保真度的隐式曲面重建。该方法在ShapeNet和D-Faust数据集上实现了最先进性能，通过导数驱动的优化显著提升了细节保留能力，并有效减少了虚假曲面片的出现。

ABSTRACT

Learning 3D geometry directly from raw data, such as point clouds, triangle soups, or unoriented meshes is still a challenging task that feeds many downstream computer vision and graphics applications. In this paper, we introduce SALD: a method for learning implicit neural representations of shapes directly from raw data. We generalize sign agnostic learning (SAL) to include derivatives: given an unsigned distance function to the input raw data, we advocate a novel sign agnostic regression loss, incorporating both pointwise values and gradients of the unsigned distance function. Optimizing this loss leads to a signed implicit function solution, the zero level set of which is a high quality and valid manifold approximation to the input 3D data. The motivation behind SALD is that incorporating derivatives in a regression loss leads to a lower sample complexity, and consequently better fitting. In addition, we prove that SAL enjoys a minimal length property in 2D, favoring minimal length solutions. More importantly, we are able to show that this property still holds for SALD, i.e., with derivatives included. We demonstrate the efficacy of SALD for shape space learning on two challenging datasets: ShapeNet that contains inconsistent orientation and non-manifold meshes, and D-Faust that contains raw 3D scans (triangle soups). On both these datasets, we present state-of-the-art results.

研究动机与目标

• 解决直接从原始、无方向或非流形数据（如点云和三角面片）中学习3D形状隐式神经表示的挑战。
• 通过在无符号回归损失中同时引入函数值与梯度信息，提升曲面重建质量，降低样本复杂度并增强泛化能力。
• 从理论上证明并实证验证无符号学习的最小曲面特性，确保在数据缺失或存在孔洞的区域，零水平集倾向于选择最小面积解。
• 在ShapeNet和D-Faust等具有挑战性的数据集上实现最先进性能，且无需真实有符号距离函数或预处理。

提出的方法

• 提出一种新颖的无符号回归损失，联合回归无符号距离函数值及其梯度，允许符号模糊性。
• 使用神经网络从无符号距离函数 h(x) 及其梯度 ∇h(x) 中预测有符号隐式函数，损失项对符号变化保持不变。
• 使用随机梯度下降优化损失，以恢复一个有符号距离函数，其零水平集可近似真实底层曲面。
• 理论分析证明，在二维情况下，该损失倾向于在数据点之间形成直线解，暗示最小长度/面积；并通过SALD将此性质推广至三维。
• 在ShapeNet上使用变分自编码器进行形状空间学习，实现通过潜在空间插值生成新颖且细节丰富的3D形状。
• 端到端地在原始数据上进行训练，无需真实法向量或一致朝向，仅依赖于输入点云或网格的无符号距离函数。

实验结果

研究问题

• RQ1 在无符号学习中引入导数信息是否能提升从原始3D数据中隐式神经曲面表示的精度与细节？
• RQ2 在隐式形状学习中，梯度信息的引入是否能降低样本复杂度并增强泛化能力？
• RQ3 当导数信息被包含在损失中时，是否仍能保持最小曲面特性——即在数据缺失区域倾向于选择最小面积的零水平集？
• RQ4 SALD 是否能在具有不一致法向量和非流形几何结构的数据集（如ShapeNet和D-Faust）上实现最先进性能？

主要发现

• 在D-Faust数据集上，SALD以0.397×10²的平均Chamfer距离和7.884的平均法向距离达到最先进性能，优于SAL与IGR，在细节保留与噪声抑制之间实现了更好平衡。
• SALD保持了SAL中观察到的最小曲面特性，避免了IGR中常见的多余曲面片，后者对真实值的平均Chamfer距离高达3.806×10²。
• 在ShapeNet上，SALD生成了高细节的重建结果，可清晰呈现内部几何结构，细节表现优于SAL，同时避免了IGR中常见的过拟合与伪影几何。
• 在D-Faust上进行潜在空间插值，展示了模型生成兼具面部与身体特征的新型、合理3D形状的能力。
• 理论分析确认，在二维情况下，SALD损失倾向于在数据点之间形成直线零水平集，暗示最小长度；该性质可推广至三维。
• 尽管在开放区域与细长结构处理上存在局限，SALD在多样化原始3D输入上表现出稳健性能，且无需预处理或真实法向量。