[论文解读] On the Optimal Rate for the Convergence Problem in Mean Field Control

Samuel Daudin, François Delarue+1 more|arXiv (Cornell University)|May 15, 2023

Bone and Joint DiseasesMedicine被引用 3

一句话总结

本文在限制值函数缺乏完全正则性（即不可微或不唯一）的情况下，建立了平均场控制系统的最优收敛速率——具体而言，通过在希尔伯特空间的傅里叶模上引入一种新颖的上卷积（sup-convolution）平滑技术，作者推导出精确的收敛速率：在高正则性条件下为 $N^{-1/2}$，在利普希茨与拟凸条件下为 $N^{-2/(3d+6)}$，该速率与无控制系统的最优速率仅相差一个常数因子。

ABSTRACT

The goal of this work is to obtain optimal rates for the convergence problem in mean field control. Our analysis covers cases where the solutions to the limiting problem may not be unique nor stable. Equivalently the value function of the limiting problem might not be differentiable on the entire space. Our main result is then to derive sharp rates of convergence in two distinct regimes. When the data is sufficiently regular, we obtain rates proportional to $N^{-1/2}$, with $N$ being the number of particles. When the data is merely Lipschitz and semi-concave with respect to the first Wasserstein distance, we obtain rates proportional to $N^{-2/(3d+6)}$. Noticeably, the exponent $2/(3d+6)$ is close to $1/d$, which is the optimal rate of convergence for uncontrolled particle systems driven by data with a similar regularity. The key argument in our approach consists in mollifying the value function of the limiting problem in order to produce functions that are almost classical sub-solutions to the limiting Hamilton-Jacobi equation (which is a PDE set on the space of probability measures). These sub-solutions can be projected onto finite dimensional spaces and then compared with the value functions associated with the particle systems. In the end, this comparison is used to prove the most demanding bound in the estimates. The key challenge therein is thus to exhibit an appropriate form of mollification. We do so by employing sup-convolution within a convenient functional Hilbert space. To make the whole easier, we limit ourselves to the periodic setting. We also provide some examples to show that our results are sharp up to some extent.

研究动机与目标

• 解决当限制值函数不可微或不唯一时，平均场控制中的收敛问题。
• 在最小正则性假设下，推导出逼近平均场极限的粒子系统之精确、最优收敛速率。
• 开发一种新型平滑方法，能够对 Wasserstein 空间上 HJB 方程的非经典解进行正则化。
• 证明所推导的速率 $N^{-2/(3d+6)}$ 几乎最优，与在类似正则性条件下已知的无控制系统最优速率一致。
• 通过显式例子与经典估计的对比，验证结果的紧致性。

提出的方法

• 作者在傅里叶系数的函数希尔伯特空间中使用上卷积，对限制平均场控制问题的值函数进行平滑处理。
• 该平滑过程产生几乎经典的下解，满足无限维概率测度空间上的哈密顿-雅可比方程。
• 通过傅里叶截断，将平滑后的函数投影到有限维子空间，从而可与粒子系统值函数进行比较。
• 利用该比较推导收敛估计中最关键的边界，其依赖于平滑下解的正则性与稳定性。
• 分析限定在环面 $\mathbb{T}^d$ 上的周期情形，以简化泛函分析框架并确保傅里叶表示的良好性质。
• 关键技术工具是使用具有紧支集的光滑核 $\rho_n$ 于 $\mathcal{B}_n$ 内，确保 $\Phi^{\eta,n}$ 无限次可微且关于 $m$ 连续可微。

实验结果

研究问题

• RQ1 当限制值函数不可微时，平均场控制的最优收敛速率是什么？
• RQ2 能否设计一种平滑技术，用于正则化平均场设置下 HJB 方程的非光滑解？
• RQ3 收敛速率如何依赖于数据的正则性，特别是当仅满足利普希茨与拟凸条件时？
• RQ4 所推导的速率 $N^{-2/(3d+6)}$ 是否紧致？其与无控制系统中已知速率的比较如何？
• RQ5 该平滑方法能否以保持哈密顿-雅可比方程结构的方式构建，从而实现与有限粒子系统的有效比较？

主要发现

• 在数据具有高正则性时，收敛速率为 $N^{-1/2}$，与光滑问题的经典速率一致。
• 当数据仅关于一阶 Wasserstein 距离满足利普希茨与拟凸条件时，收敛速率为 $N^{-2/(3d+6)}$。
• 指数 $2/(3d+6)$ 渐近接近 $1/d$，即在类似正则性条件下无控制系统已知的最优速率。
• 在傅里叶-希尔伯特空间框架下，通过上卷积实现的平滑确保了正则化值函数的光滑性，并可与有限维粒子系统值函数进行有效比较。
• 该方法建立了一个在收敛估计中最为关键的边界，其依赖于几乎经典下解的构造。
• 本文通过显式例子表明，所推导的速率在常数因子意义下是紧致的，从而在给定假设下确认了结果的最优性。