[论文解读] Stein Variational Gradient Descent Without Gradient

Jun Han, Qiang Liu|arXiv (Cornell University)|Jun 7, 2018

Numerical methods in inverse problems参考文献 21被引用 22

一句话总结

本文提出了一种无梯度的Stein变分梯度下降（GF-SVGD）变体，该方法用来自辅助分布的代理梯度替代了难以计算的目标密度梯度，并通过重要性重加权来校正偏差。该方法在理论上可被视作使用重要性加权核的标准SVG D，从而实现了无需访问梯度的快速、样本高效的推断，并在收敛性和准确性方面优于先进的无梯度MCMC方法。

ABSTRACT

Stein variational gradient decent (SVGD) has been shown to be a powerful approximate inference algorithm for complex distributions. However, the standard SVGD requires calculating the gradient of the target density and cannot be applied when the gradient is unavailable. In this work, we develop a gradient-free variant of SVGD (GF-SVGD), which replaces the true gradient with a surrogate gradient, and corrects the induced bias by re-weighting the gradients in a proper form. We show that our GF-SVGD can be viewed as the standard SVGD with a special choice of kernel, and hence directly inherits the theoretical properties of SVGD. We shed insights on the empirical choice of the surrogate gradient and propose an annealed GF-SVGD that leverages the idea of simulated annealing to improve the performance on high dimensional complex distributions. Empirical studies show that our method consistently outperforms a number of recent advanced gradient-free MCMC methods.

研究动机与目标

• 为解决标准SVG D的局限性，即需要访问目标密度的梯度，这在黑箱或计算成本较高的推断场景中是常见约束。
• 开发一种无梯度的SVG D替代方法，保持理论一致性和样本效率，同时避免需要从代理提议分布中抽样。
• 通过将模拟退火集成到无梯度框架中，提升在高维、复杂分布上的性能。
• 提供一种理论基础坚实的无梯度方法，即使使用有偏的梯度估计，仍能继承SVG D的收敛性质。

提出的方法

• 用任意辅助分布ρ(x)的代理梯度∇log ρ(x)替代SVG D中的真实梯度∇log p(x)。
• 通过使用重要性权重w_j = ρ(x_j)/p(x_j)对梯度进行重加权，以校正更新方向中引入的偏差。
• 将该方法推导为使用重要性加权核w(x)w(x')k(x,x')的标准SVG D更新，确保其与原始SVG D在理论上保持一致。
• 采用一种退火变体（AGF-SVGD），通过模拟退火逐步优化代理分布，以提升高维情况下的收敛性。
• 无需从ρ(x)中抽样，仅需评估ρ(x)及其梯度，因此ρ可为复杂或未归一化的分布。
• 使用一组粒子近似目标分布，通过最小化KL散度的函数梯度流来更新这些粒子。

实验结果

研究问题

• RQ1 能否构建一种无梯度的SVG D变体，同时保持理论一致性和样本效率？
• RQ2 如何有效校正用代理梯度替代真实梯度所引入的偏差？
• RQ3 在实际应用中，选择何种辅助分布ρ(x)能实现最优性能？
• RQ4 能否有效将模拟退火集成到无梯度SVG D框架中，以提升在高维目标上的收敛性？
• RQ5 与最先进的无梯度MCMC方法相比，所提出方法在收敛速度和准确性方面表现如何？

主要发现

• 所提出的GF-SVGD方法在数学上等价于使用重要性加权核的标准SVG D，确保其继承SVG D的理论性质，如通过梯度流最小化KL散度。
• 实验结果表明，GF-SVGD在收敛速度和准确性方面始终优于先进的无梯度MCMC方法（如KAMH和KHMC），即使排除其10,000步的预 burn-in 阶段。
• 退火型GF-SVGD（AGF-SVGD）在玩具数据和真实世界GP分类任务中均实现了更快的收敛速度，并更准确地估计了均值、方差和MMD。
• 在Glass（d=9）和SUSY（d=18）数据集上，AGF-SVGD的收敛速度优于KAMH和KHMC，即使不考虑其预 burn-in 阶段，也显示出更优的实际效率。
• 当ρ(x)是p(x)的过度离散化、未归一化或复杂近似时，只要ρ(x)和∇log ρ(x)可计算，该方法依然有效。