[论文解读] Single Image BRDF Parameter Estimation with a Conditional Adversarial Network

Mark Boss, Hendrik P. A. Lensch|arXiv (Cornell University)|Oct 11, 2019

Computer Graphics and Visualization Techniques被引用 4

一句话总结

本文提出了一种条件生成对抗网络（cGAN），可从单张手机闪光灯照片中估计空间变化的BRDF参数——漫反射颜色、法线、粗糙度和金属度。通过利用多尺度判别器、感知损失、可微渲染和参数正则化，该方法生成了高分辨率、全局一致的材质贴图，其效果与手工制作的风格高度一致，同时减少了闪光灯高光和二次照明带来的伪影。

ABSTRACT

Creating plausible surfaces is an essential component in achieving a high degree of realism in rendering. To relieve artists, who create these surfaces in a time-consuming, manual process, automated retrieval of the spatially-varying Bidirectional Reflectance Distribution Function (SVBRDF) from a single mobile phone image is desirable. By leveraging a deep neural network, this casual capturing method can be achieved. The trained network can estimate per pixel normal, base color, metallic and roughness parameters from the Disney BRDF. The input image is taken with a mobile phone lit by the camera flash. The network is trained to compensate for environment lighting and thus learned to reduce artifacts introduced by other light sources. These losses contain a multi-scale discriminator with an additional perceptual loss, a rendering loss using a differentiable renderer, and a parameter loss. Besides the local precision, this loss formulation generates material texture maps which are globally more consistent. The network is set up as a generator network trained in an adversarial fashion to ensure that only plausible maps are produced. The estimated parameters not only reproduce the material faithfully in rendering but capture the style of hand-authored materials due to the more global loss terms compared to previous works without requiring additional post-processing. Both the resolution and the quality is improved.

研究动机与目标

• 解决通过单张手机图像以低成本、非受控方式获取高质量空间变化BRDF的挑战。
• 通过强制实现逼真的材质外观并减少闪光灯和环境光照引起的伪影，克服单图像BRDF估计的病态性问题。
• 通过新颖的损失函数设计，学习抑制镜面伪影和二次照明，超越需要后处理或先验知识的先前方法。
• 实现高分辨率（512×512）BRDF参数预测，达到专业视频游戏和电影制作所需的精度。
• 确保预测的材质贴图反映手工制作材质在Substance Designer等工具中的风格一致性，无需额外优化。

提出的方法

• 训练一个条件GAN，其生成器网络基于Disney BRDF模型，为每个像素预测八个BRDF参数：漫反射颜色（3通道）、法线（3通道）、粗糙度（1通道）和金属度（1通道）。
• 采用多尺度判别器，以确保预测参数贴图在局部和全局上的一致性，减少镜面高光和非均匀光照引起的伪影。
• 集成基于预训练VGG网络的感知损失，以提升预测材质的视觉真实感和结构一致性。
• 使用可微渲染器计算渲染损失，确保预测的BRDF在相同光照条件下能重现输入图像。
• 应用参数损失以正则化预测的BRDF参数，强制实现物理合理性并减少输出贴图中的噪声。
• 在包含40,544个程序化生成材质的大规模合成数据集上进行训练，模拟真实世界手机拍摄条件下的环境光照变化。

实验结果

研究问题

• RQ1 深度生成模型能否在无需受控光照或多视角图像的情况下，可靠地从单张闪光灯照射的手机图像中估计空间变化的BRDF参数？
• RQ2 与基于优化或自编码器的方法相比，基于多尺度判别器的GAN方法在减少伪影（如强烈的闪光反射和二次照明）方面效果如何？
• RQ3 与纯像素级损失相比，引入感知损失和渲染损失在多大程度上提升了预测BRDF贴图的视觉质量和风格一致性？
• RQ4 所提方法能否在保持保真度和减少伪影的同时，实现高于以往工作的分辨率（512×512）BRDF贴图？
• RQ5 尽管仅在受控光照和环境贴图的合成数据上进行训练，该网络在真实世界材质上的泛化能力如何？

主要发现

• 所提方法相比先前工作将分辨率提升了4倍，可生成512×512的BRDF参数贴图，细节显著更丰富。
• 多尺度GAN损失有效减少了闪光灯高光和二次照明引起的可见伪影，与Deschaintre等人（2018）和Li等人（2017）的方法相比，视觉对比结果清晰显示了优势。
• 感知损失和渲染损失使参数贴图在全局上保持一致，更逼真地模拟了Substance Designer中手工制作材质的风格。
• 该方法成功消除了以往方法中常见的二次照明效应（如角落的光照衰减），从而生成了更准确的粗糙度和漫反射贴图。
• 尽管仅在合成数据上训练，网络在真实世界材质上仍表现出良好的泛化能力，证明其对非受控光照条件具有鲁棒性。
• 引入参数损失显著提升了预测BRDF的物理合理性，减少了粗糙度和金属度值中的噪声和不真实变化。