[论文解读] On propagation of chaos for the Fisher-Rao gradient flow in entropic mean-field optimization

Petra Lazić, Linshan Liu+1 more|arXiv (Cornell University)|Feb 16, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

该论文提出一种基于核化Fisher–Rao梯度流的熵 mean-field 优化框架，证明了核化流的存在性/唯一性，并建立了相应交互粒子系统的混沌传播，为其作为近似算法的使用提供了理论依据。

ABSTRACT

We consider a class of optimization problems on the space of probability measures motivated by the mean-field approach to studying neural networks. Such problems can be solved by constructing continuous-time gradient flows that converge to the minimizer of the energy function under consideration, and then implementing discrete-time algorithms that approximate the flow. In this work, we focus on the Fisher-Rao gradient flow and we construct an interacting particle system that approximates the flow as its mean-field limit. We discuss the connection between the energy function, the gradient flow and the particle system and explain different approaches to smoothing out the energy function with an appropriate kernel in a way that allows for the particle system to be well-defined. We provide a rigorous proof of the existence and uniqueness of thus obtained kernelized flows, as well as a propagation of chaos result that provides a theoretical justification for using the corresponding kernelized particle systems as approximation algorithms in entropic mean-field optimization.

研究动机与目标

• 受 mean-field 神经网络模型与熵正则化启发，建立对概率测度的优化问题动机。
• 发展Fisher–Rao梯度流框架及其核化粒子近似。
• 在核化的 mean-field 动力学中建立存在性、唯一性和混沌传播。
• 将该流与实际的核化粒子系统联系起来，以对最小化问题进行算法近似。

提出的方法

• 将能量函数 V^σ(m)=F(m)+σKL(m|π) 作为对概率测度的优化目标来抽写。
• 用函数 a(m,x) 取代平坦导数以定义Fisher–Rao流 ∂_t μ_t = -μ_t a(μ_t,·)。
• 将流提升到扩展空间 X×R_+，得到其分布通过提升流演化，然后再射影回 μ_t。
• 在假设1（有界 Lipschitz 的 a）下证明提升/均场动力学的存在性与唯一性。
• 引入相互作用粒子系统：无相互作用的参考系统和带经验测度的加权相互作用系统，证明混沌传播（N→∞）到均场定律。
• 讨论核化策略（四种变体），以确保粒子系统的良定性，并证明每种变体均满足假设1。

实验结果

研究问题

• RQ1 是否可以在紧致域上为熵 mean-field 优化严谨地定义核化Fisher–Rao梯度流？
• RQ2 相关的相互作用粒子系统是否呈现混沌传播，从而证明其作为可扩展近似的合理性？
• RQ3 不同的核化方法如何影响均场动力学的良定性与收敛性？
• RQ4 随着核带宽趋于0，核化能量的最小化与原始能量的最小化之间的关系如何？
• RQ5 该框架是否可扩展到其他散度（如χ^2）并仍然保持一致的均场解释？

主要发现

• 构建了严格的核化Fisher–Rao梯度流框架，在有限时间内具有良定性（存在性/唯一性）。
• 建立了混沌传播结果：相互作用粒子系统的经验测度在2-范数水距离下收敛到均场分布，随粒子数 N 趋向无穷。
• 多种核化策略（对演化测度、对演化与目标测度、对能量核化）形成的 a 满足核心假设，理论可适用。
• 随着 ε→0，核化的极小化器 V^σ_ε 以弱-* 收敛趋向原始能量 V^σ 的极小值，与未核化问题保持一致性。
• 提出了一个显式的基于粒子的算法，通过欧拉步更新粒子权重，以在实践中近似Fisher–Rao流。