[论文解读] Particle Optimization in Stochastic Gradient MCMC

Changyou Chen, Ruiyi Zhang|arXiv (Cornell University)|Nov 29, 2017

Markov Chains and Monte Carlo Methods参考文献 20被引用 8

一句话总结

本文提出了一种新颖的粒子优化框架，用于随机梯度 MCMC（SG-MCMC），通过基于梯度的优化直接改进粒子的质量，而非依赖于顺序的马尔可夫链采样。该方法重新表述了福克-普朗克方程，以优化粒子分布，建立了与带动量的斯坦变分梯度下降（SVGD）的联系，并在逻辑回归任务中实证表明其收敛速度优于标准的 SVGD。

ABSTRACT

Stochastic gradient Markov chain Monte Carlo (SG-MCMC) has been increasingly popular in Bayesian learning due to its ability to deal with large data. A standard SG-MCMC algorithm simulates samples from a discretized-time Markov chain to approximate a target distribution. However, the samples are typically highly correlated due to the sequential generation process, an undesired property in SG-MCMC. In contrary, Stein variational gradient descent (SVGD) directly optimizes a set of particles, and it is able to approximate a target distribution with much fewer samples. In this paper, we propose a novel method to directly optimize particles (or samples) in SG-MCMC from scratch. Specifically, we propose efficient methods to solve the corresponding Fokker-Planck equation on the space of probability distributions, whose solution (i.e., a distribution) is approximated by particles. Through our framework, we are able to show connections of SG-MCMC to SVGD, as well as the seemly unrelated generative-adversarial-net framework. Under certain relaxations, particle optimization in SG-MCMC can be interpreted as an extension of standard SVGD with momentum.

研究动机与目标

• 解决标准 SG-MCMC 中由于顺序采样导致的样本高相关性问题，该问题在有限样本约束下会降低性能。
• 通过直接优化一组固定粒子，使其更好地近似目标后验分布，从而在贝叶斯推断中提升样本质量。
• 在福克-普朗克动力学的视角下，建立 SG-MCMC 与基于粒子的方法（如 SVGD）之间的理论与算法联系。
• 开发一种框架，实现在 SG-MCMC 中的动量增强粒子更新，灵感来源于优化中的 Polyak 动量。
• 实证表明，经粒子优化的 SG-MCMC 在测试准确率和对数似然方面均比标准 SVGD 收敛更快，且无需超参数调优。

提出的方法

• 将控制 SG-MCMC 中概率分布时间演化的福克-普朗克方程，重新表述为基于粒子近似的变分优化问题。
• 使用一组粒子来近似目标分布，表示为狄拉克δ函数的混合形式：$\tilde{\rho}_k \approx \frac{1}{M}\sum_{i=1}^M \delta_{{\bm{\theta}}_i^{(k)}}$。
• 通过最小化粒子经验分布与目标分布之间 2-阶 Wasserstein 距离的上界，推导出基于梯度的粒子更新规则。
• 通过在粒子更新中引入 Polyak 动量，得到与带噪声梯度和动量的 SVGD 形式等价的更新方式。
• 使用基于核的梯度估计器 $\hat{\phi}^*({\bm{\theta}}_i^{(\ell)})$，结合核梯度与对数密度梯度，引导粒子演化。
• 在实际应用中，对 Wasserstein 距离上界施加 0.1 的缩放因子，以稳定优化并近似真实距离。

实验结果

研究问题

• RQ1 在固定粒子数下，基于粒子的优化能否提升 SG-MCMC 生成样本的质量？
• RQ2 所提出的粒子优化框架与现有方法（如 SVGD 和基于动量的优化）有何关联？
• RQ3 SG-MCMC 的福克-普朗克方程能否被重新解释为粒子集合上的变分优化问题？
• RQ4 与标准 SVGD 相比，粒子优化的 SG-MCMC 在理论和实证性能上有哪些提升？
• RQ5 在 SG-MCMC 的粒子更新中引入动量是否能带来更快收敛？其表现与标准优化中的 Polyak 动量相比如何？

主要发现

• 所提出的 SG-MCMC 粒子优化方法在逻辑回归基准任务中，无论在测试准确率还是测试对数似然方面，均比标准 SVGD 收敛更快，且无需超参数调优。
• 从福克-普朗克变分公式推导出的粒子更新规则在数学上等价于带噪声梯度和 Polyak 动量的 SVGD，建立了 SG-MCMC 与 SVGD 之间全新的理论联系。
• 该方法直接优化粒子位置，以最小化粒子分布与目标分布之间 2-阶 Wasserstein 距离的上界，从而获得优于顺序 SG-MCMC 采样的样本质量。
• 实证结果表明，粒子优化的 SG-MCMC 在早期训练迭代中即优于标准 SVGD，表明其具有更高的样本效率。
• 该框架为 SG-MCMC 提供了一种新的解释：即作为增强动量的粒子优化方法，拓展了 SG-MCMC 和 SVGD 的应用范围。
• 该方法是首个从零开始直接在 SG-MCMC 中优化粒子的方法，为在有限样本约束下实现更高质量样本的可扩展贝叶斯推断提供了新范式。