[论文解读] Neural Importance Sampling

Thomas Müller, Brian McWilliams+3 more|arXiv (Cornell University)|Aug 11, 2018

Generative Adversarial Networks and Image Synthesis被引用 13

一句话总结

本文提出神经重要性采样（Neural Importance Sampling），一种利用深度神经网络——特别是具有分段多项式耦合层的扩展归一化流（normalizing flows）——来学习蒙特卡洛积分最优采样密度的方法。通过实现快速、可逆且高度表达的采样分布，该方法在渲染和图像生成任务中实现了比最先进方法更低的方差和更高的精度。

ABSTRACT

We propose to use deep neural networks for generating samples in Monte Carlo integration. Our work is based on non-linear independent components estimation (NICE), which we extend in numerous ways to improve performance and enable its application to integration problems. First, we introduce piecewise-polynomial coupling transforms that greatly increase the modeling power of individual coupling layers. Second, we propose to preprocess the inputs of neural networks using one-blob encoding, which stimulates localization of computation and improves inference. Third, we derive a gradient-descent-based optimization for the KL and the $\chi^2$ divergence for the specific application of Monte Carlo integration with unnormalized stochastic estimates of the target distribution. Our approach enables fast and accurate inference and efficient sample generation independently of the dimensionality of the integration domain. We show its benefits on generating natural images and in two applications to light-transport simulation: first, we demonstrate learning of joint path-sampling densities in the primary sample space and importance sampling of multi-dimensional path prefixes thereof. Second, we use our technique to extract conditional directional densities driven by the product of incident illumination and the BSDF in the rendering equation, and we leverage the densities for path guiding. In all applications, our approach yields on-par or higher performance than competing techniques at equal sample count.

研究动机与目标

• 为解决蒙特卡洛积分中高方差的挑战，学习具有表达力且可逆的采样密度。
• 实现在任意维度积分域下，高效且精确的PDF评估与样本生成。
• 在复杂高维问题（如光传输模拟）中提升重要性采样性能。
• 开发一种可微优化框架，利用KL散度和χ²散度与未归一化的估计值，最小化估计方差。
• 在路径引导和渲染中的联合路径采样等实际应用中，证明该方法的有效性。

提出的方法

• 通过引入分段多项式耦合变换（分段线性和分段二次）扩展NICE（非线性独立成分估计），提升每层的建模能力。
• 提出单blob编码（one-blob encoding）用于网络输入，以实现计算的局部化，提升推理效率。
• 设计基于梯度下降的优化策略，利用目标分布的未归一化随机估计，最小化KL散度和χ²散度。
• 通过在耦合层中保持可分性，确保可逆性与精确的PDF评估，使雅可比行列式保持可计算性。
• 利用归一化流将复杂、多模态的分布建模为从简单基础分布的变换。
• 将学习到的密度应用于生成样本，通过最优重要性采样最小化蒙特卡洛估计器的方差。

实验结果

研究问题

• RQ1 具有归一化流的深度神经网络能否学习到高度表达、可逆的采样密度，显著降低蒙特卡洛积分的方差？
• RQ2 与仿射耦合层相比，分段多项式耦合层如何提升表达能力并减少所需层数？
• RQ3 单blob编码能否在高维积分问题中提升计算的局部化程度并加快推理速度？
• RQ4 针对未归一化估计值的KL与χ²散度优化策略，是否能在实践中实现稳定且有效的训练？
• RQ5 该框架在复杂渲染应用（如路径引导和多维路径前缀采样）中，能否超越现有重要性采样技术？

主要发现

• 在光传输模拟中，该方法在相同采样数量下，性能与竞争方法持平或更优。
• 分段多项式耦合层显著提升了建模能力，使层数更少、推理更快，同时保持高精度。
• 单blob编码提升了计算的局部化程度，加速了推理，且未牺牲样本质量。
• 基于梯度的KL与χ²散度优化策略，即使在使用目标分布的未归一化随机估计时，也能实现稳定训练。
• 在路径引导应用中，该方法成功从入射辐射照度与BSDF的乘积中提取出条件方向密度，提升了采样效率。
• 该方法在高维自然图像分布上也表现出色，显示出超越渲染领域的泛化能力。