[论文解读] On the geometry of Stein variational gradient descent

A. Duncan, N. Nuesken+1 more|arXiv (Cornell University)|Dec 2, 2019

Markov Chains and Monte Carlo Methods参考文献 83被引用 39

一句话总结

本文将 Stein 变分梯度下降（SVGD）视为 Stein 几何上的梯度流，采用二阶微积分分析收敛性，并在数值实验的支持下提出包括非可微尾部的核设计准则。

ABSTRACT

Bayesian inference problems require sampling or approximating high-dimensional probability distributions. The focus of this paper is on the recently introduced Stein variational gradient descent methodology, a class of algorithms that rely on iterated steepest descent steps with respect to a reproducing kernel Hilbert space norm. This construction leads to interacting particle systems, the mean-field limit of which is a gradient flow on the space of probability distributions equipped with a certain geometrical structure. We leverage this viewpoint to shed some light on the convergence properties of the algorithm, in particular addressing the problem of choosing a suitable positive definite kernel function. Our analysis leads us to considering certain nondifferentiable kernels with adjusted tails. We demonstrate significant performance gains of these in various numerical experiments.

研究动机与目标

• 将 SVGD 的均场极限表述为 Stein 几何上的梯度流。
• 建立二阶微积分以理解收敛性并确定指数衰减的泛函分析条件。
• 推导核设计指南以提升 SVGD 的性能，包括处理不可微核和调整尾部的情况。

提出的方法

• 在由 RKHS 核诱导的概率测度空间上定义切空间结构和黎曼度量。
• 刻画测地线和 Stein-Hessian 属性，以研究在 SVGD 下 KL 散度的凸性与收敛性。
• 建立以泛函不等式形式给出的条件，暗示在平衡附近的指数收敛。
• 提出并分析核的选择，特别是带有调整尾部的奇异或非光滑核，受 Stein 几何的引导。
• 通过梯度流视角将 SVGD 与过阻尼 Langevin 动力学联系起来，以获得直觉与比较。
• 提供数值实验，以验证关于核选择与性能的理论指导。

实验结果

研究问题

• RQ1 在核和 Stein 几何上存在哪些条件能够保证 SVGD 对目标后验的指数收敛？
• RQ2 如何表述并利用梯度流结构（Stein 几何）来分析 SVGD 的收敛并指导核设计？
• RQ3 带有调整尾部的不可微核是否能带来改进的经验性能，在何种理论框架下？
• RQ4 SVGD 的均场极限如何关系到概率测度空间上的梯度流，这为实现提供了哪些洞见？
• RQ5 可以推导出哪些实用指南，用于选择核以确保稳定性和快速收敛？

主要发现

• SVGD 可以被表述为在 Stein 几何上的 KL-散度的梯度流，具有相应的测地线结构。
• 二阶微积分揭示，仅凭熵并不能像在 Wasserstein 情况下那样通常得到指数收敛界，凸显了 Stein-Hessian 方法的局限性。
• 与 RKHS 核相关联的泛函分析条件，在适当的不等式下可以等价于在平衡附近的指数衰减。
• 推导出核选择指南，强调正则性和尾部行为以改善收敛性质。
• 分析和数值结果表明，在推断任务中使用带有调整尾部的奇异核可获得显著的性能提升。