[论文解读] Stein Variational Gradient Descent: many-particle and long-time asymptotics

Nikolas Nüsken, D. R. Michiel Renger|arXiv (Cornell University)|Feb 25, 2021

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文通過Stein變分梯度下降（SVGD）在變分推斷與馬爾可夫鏈蒙特卡洛之間建立了嚴謹的聯繫，表明SVGD的確定性與隨機變體均源自Stein幾何中的梯度流。研究證明，在長時間與多粒子極限下，核化Stein差異（Stein-Fisher資訊）主導了大偏差率泛函，從而提供了SVGD收斂行為的變分特徵化。

ABSTRACT

Stein variational gradient descent (SVGD) refers to a class of methods for Bayesian inference based on interacting particle systems. In this paper, we consider the originally proposed deterministic dynamics as well as a stochastic variant, each of which represent one of the two main paradigms in Bayesian computational statistics: variational inference and Markov chain Monte Carlo. As it turns out, these are tightly linked through a correspondence between gradient flow structures and large-deviation principles rooted in statistical physics. To expose this relationship, we develop the cotangent space construction for the Stein geometry, prove its basic properties, and determine the large-deviation functional governing the many-particle limit for the empirical measure. Moreover, we identify the Stein-Fisher information (or kernelised Stein discrepancy) as its leading order contribution in the long-time and many-particle regime in the sense of $Γ$-convergence, shedding some light on the finite-particle properties of SVGD. Finally, we establish a comparison principle between the Stein-Fisher information and RKHS-norms that might be of independent interest.

研究动机与目标

• 透過分析Stein變分梯度下降（SVGD）作為統一框架，統一變分推斷與馬爾可夫鏈蒙特卡洛。
• 在SVGD背景下，建立梯度流結構與大偏差原理之間的對應關係。
• 利用大偏差理論特徵化SVGD的長時間與多粒子漸近行為。
• 識別出核化Stein差異（Stein-Fisher資訊）為大偏差泛函$γ$-收斂極限中的主導項。
• 為Stein幾何構建切空間並證明其基本性質，以支持SVGD動態的分析。

提出的方法

• 為分析SVGD背後的黎曼結構，構建了Stein幾何的切空間。
• 推導出描述SVGD多粒子極限下經驗測度的極大偏差泛函。
• 利用$γ$-收斂性證明，極大偏差率泛函中的主導項為核化Stein差異（Stein-Fisher資訊）。
• 將SVGD的確定性與隨機變體分析為Stein幾何中的梯度流，從而將其與變分推斷與MCMC範式聯繫起來。
• 應用伊藤引理於經驗測度動態，推導出隨機SVGD過程的生成元，並導出相應的福克-普朗克型方程。
• 建立Stein-Fisher資訊與RKHS範數之間的比較原則，揭示問題幾何結構的深入見解。

实验结果

研究问题

• RQ1 SVGD的確定性與隨機變體如何透過梯度流與大偏差原理相互關聯？
• RQ2 SVGD多粒子極限下經驗測度的極大偏差率泛函為何？
• RQ3 核化Stein差異（Stein-Fisher資訊）如何在長時間與多粒子規則中成為主導項？
• RQ4 切空間在Stein幾何中扮演何種角色？它如何支持SVGD動態的分析？
• RQ5 Stein-Fisher資訊與RKHS範數在幾何與變分性質上如何比較？

主要发现

• 確立了多粒子SVGD極限下經驗測度的極大偏差泛函，且在$γ$-收斂意義下，核化Stein差異為其主導項。
• 確定性SVGD動態對應於Stein幾何中的梯度流，且極大偏差率泛函的$γ$-極限即為Stein-Fisher資訊。
• 證明隨機SVGD變體對應於其不變測度為目標分佈的擴散過程，從而與MCMC方法建立聯繫。
• 建立Stein-Fisher資訊與RKHS範數之間的比較原則，顯示前者在某種變分意義下主導後者。
• 嚴謹地發展了Stein幾何的切空間構造，並證明其支持SVGD梯度流結構的分析。
• 本文確認，在長時間與多粒子規則下，SVGD的收斂行為由核化Stein差異主導，為其在貝葉斯推斷中的應用提供了理論基礎。