[论文解读] Stein Self-Repulsive Dynamics: Benefits From Past Samples

Mao Ye, Tongzheng Ren+1 more|arXiv (Cornell University)|Feb 21, 2020

Markov Chains and Monte Carlo Methods参考文献 36被引用 5

一句话总结

本文提出了一种新颖的Stein自排斥动力学方法，通过引入源自Stein变分梯度下降的排斥力来增强Langevin MCMC，从而降低样本自相关性。该方法利用历史轨迹信息，在保持正确平稳分布的同时，显著提升了未归一化目标分布下的有效样本量和不确定性估计。

ABSTRACT

We propose a new Stein self-repulsive dynamics for obtaining diversified samples from intractable un-normalized distributions. Our idea is to introduce Stein variational gradient as a repulsive force to push the samples of Langevin dynamics away from the past trajectories. This simple idea allows us to significantly decrease the auto-correlation in Langevin dynamics and hence increase the effective sample size. Importantly, as we establish in our theoretical analysis, the asymptotic stationary distribution remains correct even with the addition of the repulsive force, thanks to the special properties of the Stein variational gradient. We perform extensive empirical studies of our new algorithm, showing that our method yields much higher sample efficiency and better uncertainty estimation than vanilla Langevin dynamics.

研究动机与目标

• 为解决Langevin动力学中高自相关性的问题，该问题会降低有效样本量并阻碍对复杂、未归一化分布的探索。
• 开发一种单链采样方法，实现类似SVGD的并行粒子系统的优势，而无需无穷多粒子。
• 在引入基于历史样本的排斥力的同时，保持平稳分布的渐近正确性。
• 在具有挑战性的概率建模任务中提升样本多样性与不确定性估计。

提出的方法

• 将Stein变分梯度作为排斥力引入Langevin动力学，推动新样本远离历史轨迹。
• 利用历史样本的经验分布计算一个结合梯度下降与自排斥作用的速度场。
• 采用核化Stein差异计算排斥力，确保平稳分布保持不变。
• 采用依赖于历史样本完整轨迹的时变非马尔可夫动力学，使其成为高阶马尔可夫过程。
• 通过收敛性分析提供理论依据，证明在势函数和核光滑性满足弱条件时，方法具有渐近正确性。
• 使用固定带宽的高斯核计算排斥力，以在局部探索与全局多样性之间取得平衡。

实验结果

研究问题

• RQ1 能否通过引入历史轨迹信息，使单链MCMC方法实现更高的样本多样性并降低自相关性？
• RQ2 在Langevin动力学中添加Stein变分排斥力是否能保持正确的平稳分布？
• RQ3 与原始Langevin动力学相比，该方法在有效样本量和不确定性估计方面表现如何？
• RQ4 该非线性、高阶马尔可夫过程收敛至目标分布的理论依据是什么？

主要发现

• 所提方法显著降低了样本自相关性，与原始Langevin动力学相比，有效样本量大幅提升。
• 该动力学的平稳分布与目标分布完全一致，这由Stein变分梯度的理论性质保证。
• 实验结果表明，该方法在多个具有挑战性的采样任务中（包括高维和多模态分布）均表现出更优的不确定性估计。
• 该方法实现了更高的样本效率，达到相似近似精度所需迭代次数更少。
• 理论分析证实，尽管动力学是非马尔可夫且依赖于历史样本全集，仍能收敛至目标分布。