[论文解读] Radon--Wasserstein Gradient Flows for Interacting-Particle Sampling in High Dimensions

Elias Hess-Childs, Dejan Slepčev+1 more|arXiv (Cornell University)|Feb 5, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

本论文引入 Radon–Wasserstein 与 Regularized Radon–Wasserstein 梯度流用于 KL 散度，利用一维投影通过 Radon 变换实现高维交互粒子采样，单步成本在粒子数量与维度上呈线性。

ABSTRACT

Gradient flows of the Kullback--Leibler (KL) divergence, such as the Fokker--Planck equation and Stein Variational Gradient Descent, evolve a distribution toward a target density known only up to a normalizing constant. We introduce new gradient flows of the KL divergence with a remarkable combination of properties: they admit accurate interacting-particle approximations in high dimensions, and the per-step cost scales linearly in both the number of particles and the dimension. These gradient flows are based on new transportation-based Riemannian geometries on the space of probability measures: the Radon--Wasserstein geometry and the related Regularized Radon--Wasserstein (RRW) geometry. We define these geometries using the Radon transform so that the gradient-flow velocities depend only on one-dimensional projections. This yields interacting-particle-based algorithms whose per-step cost follows from efficient Fast Fourier Transform-based evaluation of the required 1D convolutions. We additionally provide numerical experiments that study the performance of the proposed algorithms and compare convergence behavior and quantization. Finally, we prove some theoretical results including well-posedness of the flows and long-time convergence guarantees for the RRW flow.

研究动机与目标

• 强调传统 MCMC 和 SVGD 在高维中的局限性并提出基于新几何的可扩展替代方案的动机。
• 在概率测度上引入 Radon–Wasserstein (RW) 与 Regularized Radon–Wasserstein (RRW) 几何。
• 在 RW 与 RRW 几何下推导 KL 梯度流方程并给出粒子化离散化。
• 开发具备 FFT 基于速度评估的高效算法，并分析其计算复杂度。
• 为流及相应粒子方法的良定性、稳定性与收敛性提供理论保证。

提出的方法

• 定义 Radon 变换及其对偶以在速度场上构建 RW 与 RRW 度量张量。
• 将目标分布 π ∝ e^{-U} 的 KL 梯度流表示为相对于 RW 与 RRW 几何的梯度流。
• 推导涉及一维投影和 Radon 变换导数的 RW 梯度流速度。
• 引入 Kernel-Density Radon–Wasserstein (KDRW) 流以在密度离散时实现粒子近似。
• 给出 RRW 流，使其在离散测度下仍然良定义并便于粒子实现。
• 提供高效求解速度的算法策略，包括基于 FFT 的卷积计算。

实验结果

研究问题

• RQ1 如何在使用一维投影的几何中形式化 KL 梯度流以实现高维近似？
• RQ2 Radon–Wasserstein 与 Regularized Radon–Wasserstein 几何是否能够在高维实现准确、可扩展的交互粒子采样？
• RQ3 RW 与 RRW 梯度流及其粒子离散化的理论性质（良定性、稳定性、收敛性）是什么？
• RQ4 KDRW 流作为 RW 流的实际粒子近似的表现如何？
• RQ5 在不同维度与粒子数下，所提出算法的计算复杂度与经验性能如何？

主要发现

• 我们提出 RW 与 RRW 几何，其梯度流的速度依赖于一维投影，从而实现与粒子数量和维度线性相关的每步成本。
• 我们建立 RRW 流的良定性与长期收敛性，以及交互粒子系统的平均场收敛性。
• 我们开发了核正则化的 (KDRW) 和离散友好型 RRW 流，能够实现高效的 FFT 基于速度计算。
• 我们提供数值实验，比较收敛行为与量化，展示在不同设置下的性能。
• 我们分析了计算复杂度，并给出在高维采样中具有良好尺度性的实际算法。