[论文解读] Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference

Geoffrey Roeder, Yuhuai Wu+1 more|arXiv (Cornell University)|Mar 27, 2017

Domain Adaptation and Few-Shot Learning被引用 73

一句话总结

该论文提出了一种简单、无偏的路径导数梯度估计器用于ELBO优化，它从重参数化梯度中去除了分数函数项，从而当近似后验接近真实后验时方差更低，并将其扩展到混合、IWAE 和流。

ABSTRACT

We propose a simple and general variant of the standard reparameterized gradient estimator for the variational evidence lower bound. Specifically, we remove a part of the total derivative with respect to the variational parameters that corresponds to the score function. Removing this term produces an unbiased gradient estimator whose variance approaches zero as the approximate posterior approaches the exact posterior. We analyze the behavior of this gradient estimator theoretically and empirically, and generalize it to more complex variational distributions such as mixtures and importance-weighted posteriors.

研究动机与目标

• 提出一个简单、无偏的ELBO梯度估计器，当变分后验与真实后验完全一致时达到零方差。
• 显示在许多情境下去除分数函数项可降低梯度方差。
• 提供一个与标准自动微分工具集成的实现。
• 将该方法推广到混合、重要性加权界和基于流的后验。
• 在标准基准数据集（MNIST、Omniglot）上展示经验改进。

提出的方法

• 重新审视ELBO的重参数化梯度，并将其分解为路径导数项和分数函数项。
• 提出去除分数函数项以获得无偏的路径导数梯度估计。
• 通过在评估密度项时对变分参数应用 stop_gradient 来实现此技巧，在梯度计算中保持样本 z 固定。
• 通过对离散选择进行积分并对每个分量的参数应用 stop_gradient，将估计量扩展到混合变分族。
• 将该方法适配到IWAE，并讨论扩展到基于流的后验（有前提条件/警告）。

实验结果

研究问题

• RQ1 是否可以通过从重参数化梯度中移除分数函数项来构造一个方差更低的无偏ELBO梯度估计？
• RQ2 在更丰富的变分家族（混合、IWAE、flows）以及当近似为真时，路径导数估计量的行为如何？
• RQ3 将该估计量整合到常用自动微分框架中的实际实现考量有哪些？
• RQ4 在标准基准数据集（MNIST、Omniglot）上，使用路径导数梯度是否比总导数梯度有更大改进？
• RQ5 该估计量如何与控制变量概念及对缩放常数进行退火的潜在作用相互作用？

主要发现

• 路径导数梯度估计量是无偏的，当 q_phi(z|x) 接近 p(z|x) 时其方差趋近于零。
• 移除分数函数项可以降低梯度方差，并通过 stop_gradient 在计算图中实现更简单的一行修改。
• 该技巧扩展到混合后验和重要性加权界（IWAE），提供了实际实现的算法。
• 对于基于流的后验，由于中间的 z 变量，直观的 stop_gradient 方法更复杂，需要进一步工程化以保留必要的梯度项。
• 在MNIST和Omniglot上的经验结果显示路径导数估计量在VAE和IWAE设置下有改进，尤其是在更复杂的后验中；某些情况下可能因梯度项之间的相关性而无改进。
• 该方法仍然是一个简单的、可直接替换的修改，可以用现有的 autodiff 工具实现（例如在主流框架中的 stop_gradient）。