[论文解读] Scaling limit of the Stein variational gradient descent: the mean field regime

Jianfeng Lu, Yulong Lu+1 more|arXiv (Cornell University)|May 10, 2018

Markov Chains and Monte Carlo Methods参考文献 32被引用 7

一句话总结

本文建立了Stein变分梯度下降（SVGD）粒子系统的平均场极限，证明了当N→∞时，N个相互作用粒子的经验测度收敛于一个非局部、非线性PDE的解。此外，本文还建立了该PDE解的全局存在性、唯一性与正则性，并表明该解在长时间极限下收敛于目标Gibbs测度。

ABSTRACT

We study an interacting particle system in $\mathbf{R}^d$ motivated by Stein variational gradient descent [Q. Liu and D. Wang, NIPS 2016], a deterministic algorithm for sampling from a given probability density with unknown normalization. We prove that in the large particle limit the empirical measure of the particle system converges to a solution of a non-local and nonlinear PDE. We also prove global existence, uniqueness and regularity of the solution to the limiting PDE. Finally, we prove that the solution to the PDE converges to the unique invariant solution in long time limit.

研究动机与目标

• 严格证明支撑Stein变分梯度下降（SVGD）的相互作用粒子系统的平均场极限。
• 证明极限非局部、非线性PDE解的全局存在性、唯一性与正则性。
• 建立粒子系统经验测度在N→∞时收敛于PDE解的结论。
• 分析PDE解的长时间行为，并证明其收敛于不变Gibbs测度ρ∞(x)∝e⁻ᵛ⁽ˣ⁾。

提出的方法

• 从Rᵈ中的粒子动力学出发，形式推导平均场PDE：∂ₜρ = ∇·(ρ(K∗(∇ρ + ∇V ρ)))。
• 利用Wasserstein-2距离与相对熵（KL散度）分析经验测度收敛于PDE解的过程。
• 应用傅里叶分析及正定核K的性质，研究KL散度的长时间衰减行为。
• 采用Stein算子Sₚφ = ∇logρ·φ + ∇·φ来刻画SVGD算法中最佳速度场的特征。
• 利用具有核K的再生核Hilbert空间（RKHS）结构，将最佳速度场显式表达为φ* ∝ ∫(∇logρ(x)K(x,·) + ∇ₓK(x,·))μ(dx)。
• 通过紧致性论证与概率测度空间中的弱收敛，结合核K的正性与衰减性质，证明收敛至平衡态。

实验结果

研究问题

• RQ1 在N趋于无穷的极限下，SVGD粒子系统的经验测度是否收敛于一个确定性的PDE？
• RQ2 该极限PDE在解的存在性、唯一性与正则性方面是否全局适定？
• RQ3 当t→∞时，极限PDE的解是否弱收敛于目标Gibbs测度ρ∞(x) = e⁻ᵛ⁽ˣ⁾/Z？
• RQ4 核K在通过能量衰减结构实现收敛至平衡态的过程中起到何种作用？

主要发现

• 在μ₀ᴺ以适当方式收敛于ρ₀的条件下，当N→∞时，N粒子系统的经验测度μₜᴺ依分布收敛于非局部、非线性PDE的解ρ(t,·)。
• 对于属于正则性类𝒴²₁,ⱽ的初始数据，极限PDE存在唯一、全局且光滑的解。
• 相对熵KL(ρₜ||ρ∞)沿PDE流单调递减，且当t→∞时，有∂ₜKL(ρₜ||ρ∞) → 0。
• 在核K的傅里叶变换非零的假设下，解ρ(t,·)在t→∞时弱收敛于不变Gibbs测度ρ∞(x) = e⁻ᵛ⁽ˣ⁾/Z。
• 通过子序列论证与傅里叶变换的应用，证明收敛至平衡态：极限测度必满足∇(eᵛ̄ρ) = 0，即ρ̄ = Cρ∞，归一化条件强制C=1。
• 核K的正定性与衰减性质确保能量耗散项∫∫(∇ρ + ∇Vρ)(x)·K(x−y)·(∇ρ + ∇Vρ)(y)dxdy → 0当t→∞，这是证明收敛至平衡态的关键。