[论文解读] Sampling via Gradient Flows in the Space of Probability Measures

Yifan Chen, Daniel Zhengyu Huang+3 more|arXiv (Cornell University)|Oct 5, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文研究了在概率测度空间中针对归一化常数未知的目标分布的梯度流。它证明了KL散度在f-散度中具有唯一优势，因其对归一化不变；引入了仿射不变的Wasserstein与Stein梯度流，以改进各向异性分布的采样；并开发了高效的高斯近似方法——在对数凹分布和高斯目标分布上表现出优越性能，但在多峰或弯曲流形分布上存在局限性。

ABSTRACT

Sampling a target probability distribution with an unknown normalization constant is a fundamental challenge in computational science and engineering. Recent work shows that algorithms derived by considering gradient flows in the space of probability measures open up new avenues for algorithm development. This paper makes three contributions to this sampling approach by scrutinizing the design components of such gradient flows. Any instantiation of a gradient flow for sampling needs an energy functional and a metric to determine the flow, as well as numerical approximations of the flow to derive algorithms. Our first contribution is to show that the Kullback-Leibler divergence, as an energy functional, has the unique property (among all f-divergences) that gradient flows resulting from it do not depend on the normalization constant of the target distribution. Our second contribution is to study the choice of metric from the perspective of invariance. The Fisher-Rao metric is known as the unique choice (up to scaling) that is diffeomorphism invariant. As a computationally tractable alternative, we introduce a relaxed, affine invariance property for the metrics and gradient flows. In particular, we construct various affine invariant Wasserstein and Stein gradient flows. Affine invariant gradient flows are shown to behave more favorably than their non-affine-invariant counterparts when sampling highly anisotropic distributions, in theory and by using particle methods. Our third contribution is to study, and develop efficient algorithms based on Gaussian approximations of the gradient flows; this leads to an alternative to particle methods. We establish connections between various Gaussian approximate gradient flows, discuss their relation to gradient methods arising from parametric variational inference, and study their convergence properties both theoretically and numerically.

研究动机与目标

• 理解在概率测度空间中用于采样的梯度流的设计原则。
• 识别为何Kullback-Leibler（KL）散度在f-散度中对采样具有唯一优势。
• 研究度量不变性在梯度流性能中的作用，尤其针对各向异性和具有挑战性的目标分布。
• 通过梯度流的高斯近似，开发计算高效的粒子方法替代方案。
• 评估仿射不变梯度流及其高斯近似在多种目标分布上的收敛性与准确性。

提出的方法

• 通过能量泛函与度量张量，在概率测度空间中形式化采样为梯度流。
• 证明KL散度是唯一其梯度流对目标分布归一化常数不变的f-散度。
• 提出度量的松弛仿射不变性性质，并构建计算上可行的仿射不变Wasserstein与Stein梯度流，作为微分同胚不变流的替代方案。
• 通过将连续时间流投影到高斯参数族上，开发高斯近似梯度流，实现高效计算。
• 使用粒子方法数值逼近完整梯度流，并在不同度量与目标分布下比较收敛行为。
• 建立高斯近似Fisher-Rao梯度流的理论收敛速率，并将其与参数化变分推断方法关联。

实验结果

研究问题

• RQ1 为何Kullback-Leibler散度在概率测度空间采样中作为能量泛函具有唯一适用性？
• RQ2 不变性性质——特别是微分同胚不变性与仿射不变性——如何影响梯度流在采样应用中的收敛行为？
• RQ3 能否基于Wasserstein与Stein度量构建仿射不变梯度流？它们在采样高度各向异性分布时是否优于非不变对应方法？
• RQ4 梯度流的高斯近似作为基于粒子的实现方式的可扩展替代方案，其有效性如何？
• RQ5 在采样非高斯、多峰或位于弯曲流形（如Rosenbrock函数）上的后验分布时，仿射不变高斯近似的局限性是什么？

主要发现

• KL散度是唯一其梯度流对目标分布归一化常数不敏感的f-散度，这为其在采样中的广泛应用提供了理论依据。
• Fisher-Rao度量是唯一（至多缩放）微分同胚不变的度量，在一般条件下可实现均匀指数收敛，但其粒子实现极具挑战性。
• 构建了仿射不变的Wasserstein与Stein梯度流，并在理论上与数值上均证明其在采样高度各向异性分布时优于非仿射不变对应方法。
• 继承仿射不变性的高斯近似Fisher-Rao梯度流在高斯与对数凹目标分布上表现出强收敛性与准确性，其性能通过$L^2$误差与协方差误差衡量。
• 对于一般后验分布——尤其是多峰或集中在弯曲流形（如Rosenbrock函数）上的后验——高斯近似无法捕捉真实后验，凸显其局限性。
• 本研究指出，需发展更高级的近似方法（如高斯混合模型）以处理当前仿射不变高斯方法无法涵盖的复杂后验几何结构。