[论文解读] Stein Variational Gradient Descent as Gradient Flow

Qiang Liu|arXiv (Cornell University)|Apr 25, 2017

Markov Chains and Monte Carlo Methods参考文献 13被引用 47

一句话总结

该论文通过证明粒子经验测度在粒子数量增加时弱收敛于目标分布，首次对Stein变分梯度下降（SVGD）进行了理论分析。论文揭示了SVGD动力学受非线性Vlasov方程控制，并将SVGD解释为在由Stein算子诱导的新型Riemannian-like度量下KL散度的梯度流。

ABSTRACT

Stein variational gradient descent (SVGD) is a deterministic sampling algorithm that iteratively transports a set of particles to approximate given distributions, based on an efficient gradient-based update that guarantees to optimally decrease the KL divergence within a function space. This paper develops the first theoretical analysis on SVGD, discussing its weak convergence properties and showing that its asymptotic behavior is captured by a gradient flow of the KL divergence functional under a new metric structure induced by Stein operator. We also provide a number of results on Stein operator and Stein's identity using the notion of weak derivative, including a new proof of the distinguishability of Stein discrepancy under weak conditions.

研究动机与目标

• 为Stein变分梯度下降（SVGD）提供首个严格的理论分析，SVGD是一种确定性的基于粒子的采样方法。
• 建立当粒子数量增加时，SVGD粒子经验测度弱收敛于目标分布的结论。
• 通过物理学中称为Vlasov方程的非线性Fokker-Planck方程，刻画SVGD的渐近行为。
• 在概率分布空间上建立SVGD作为KL散度泛函在新型Riemannian-like度量结构下的梯度流的几何解释。
• 通过证明最优速度场通过Stein分歧最大化KL散度的下降，正式建立SVGD与Stein方法之间的联系。

提出的方法

• 将SVGD形式化为一个泛函优化问题，即在再生核Hilbert空间（RKHS）中单位范数约束下，最大化KL散度关于前推映射的负导数。
• 利用Stein算子推导KL散度的梯度，表明下降方向由速度场应用Stein算子后的期望决定。
• 引入Stein分歧作为经验粒子分布与目标分布之间的分歧度量，当且仅当两分布相等时该分歧为零。
• 使用Vlasov型方程对粒子系统的演化进行建模，该方程是粒子数量趋于无穷时离散粒子动力学的极限。
• 建立一个几何框架，将SVGD解释为在由Stein算子和RKHS范数诱导的Riemannian度量下KL散度泛函的梯度流。
• 利用变分法和无穷小前推，推导出控制粒子密度时间演化的Fokker-Planck方程，表明该流动由最优速度场的散度驱动。

实验结果

研究问题

• RQ1 当粒子数量趋于无穷时，SVGD粒子的经验测度是否弱收敛于目标分布？
• RQ2 SVGD粒子系统的连续时间极限动力学是什么？能否用偏微分方程描述？
• RQ3 SVGD能否被解释为在概率测度空间上的几何结构下KL散度的梯度流？
• RQ4 SVGD中的最优速度场与Stein算子和RKHS范数有何关系？
• RQ5 在SVGD动力学背景下，Vlasov方程与Fokker-Planck方程之间存在何种关系？

主要发现

• 当粒子数量趋于无穷时，SVGD粒子的经验测度弱收敛于目标分布。
• SVGD的渐近动力学由非线性Vlasov方程控制，该方程是粒子系统演化在连续极限下的结果。
• 本文证明了SVGD等价于在由Stein算子和RKHS范数诱导的Riemannian度量结构下KL散度泛函的梯度流。
• SVGD中的最优速度场通过最大化KL散度的下降而确定，其作为涉及Stein分歧的泛函优化问题的解被推导得出。
• 描述粒子密度时间演化的Fokker-Planck方程被推导为前推映射的极限，表明密度按照最优速度场的散度演化。
• KL散度在微分同胚的前推下保持不变，这支持了将SVGD解释为测度空间上流动的几何观点。