[论文解读] SPLINE-Net: Sparse Photometric Stereo through Lighting Interpolation and Normal Estimation Networks

Qian Zheng, Yiming Jia+4 more|arXiv (Cornell University)|May 10, 2019

Computer Graphics and Visualization Techniques参考文献 39被引用 6

一句话总结

SPLINE-Net 通过联合学习光照插值与法向估计，利用具有对称与非对称损失函数的深度网络，解决了稀疏光度立体问题。通过建模通用 BRDF 并利用各向同性约束与结构化补全稀疏观测图来排除全局光照异常值，仅使用 10 张输入图像即实现了最先进精度，显著少于以往方法。

ABSTRACT

This paper solves the Sparse Photometric stereo through Lighting Interpolation and Normal Estimation using a generative Network (SPLINE-Net). SPLINE-Net contains a lighting interpolation network to generate dense lighting observations given a sparse set of lights as inputs followed by a normal estimation network to estimate surface normals. Both networks are jointly constrained by the proposed symmetric and asymmetric loss functions to enforce isotropic constrain and perform outlier rejection of global illumination effects. SPLINE-Net is verified to outperform existing methods for photometric stereo of general BRDFs by using only ten images of different lights instead of using nearly one hundred images.

研究动机与目标

• 通过仅使用少量输入图像，解决通用 BRDF 的稀疏光度立体问题，减轻数据采集与标定负担。
• 解决光度立体中相互反射与阴影等全局光照效应的挑战。
• 通过从稀疏输入生成密集光照观测，提升稀疏光照下的法向估计精度。
• 通过新颖的损失函数，将物理先验（特别是各向同性与异常值鲁棒性）融入基于深度学习的光度立体。

提出的方法

• SPLINE-Net 由两个子网络组成：光照插值网络（LI-Net）利用可学习表征，从稀疏输入观测图生成密集观测图。
• 法向估计网络（NE-Net）从生成的密集观测图中估计表面法向。
• 对称损失函数通过约束观测图上像素相对于表面法向方向对称分布，实现各向同性。
• 非对称损失函数通过约束对称分布像素之间的差异非零，建模全局光照效应，实现异常值排除。
• 两个网络通过两种损失函数联合训练，以提升泛化能力与对真实世界光照伪影的鲁棒性。
• 观测图被用作密集光照表示，使模型可将稀疏输入视为需补全的损坏图像。

实验结果

研究问题

• RQ1 能否利用深度学习，仅从 10 张稀疏输入图像生成密集光照观测，以提升光度立体的精度？
• RQ2 如何在深度学习框架中显式建模反射的各向同性，以提升通用 BRDF 下的法向估计精度？
• RQ3 能否通过可微损失函数有效排除阴影与相互反射等全局光照效应？
• RQ4 联合优化光照插值与法向估计是否优于从稀疏输入端到端回归？

主要发现

• SPLINE-Net 仅使用 10 张输入图像，即在法向估计方面达到最先进性能，优于需近 100 张图像的方法。
• 对称损失显著提升性能，通过强制实现各向同性，降低法向估计的角误差。
• 非对称损失增强对全局光照效应的鲁棒性，降低相互反射与阴影区域的误差。
• 消融实验表明，LI-Net 相较于直接回归提升了泛化能力，且两种损失均有助于提升精度。
• 视觉对比显示，即使输入包含异常值导致的暗斑，SPLINE-Net 生成的观测图与法向图也比基线更平滑、更准确。
• 尽管在非朗伯表面表现强劲，基于深度学习的方法如 SPLINE-Net 在以漫反射为主的表面上仍表现不足，表明当前方法存在局限性。