[论文解读] The turnpike property for mean-field optimal control problems

Martin Gugat, Michaël Herty+1 more|arXiv (Cornell University)|Jan 1, 2023

Stability and Controllability of Differential Equations参考文献 34被引用 1

一句话总结

本文通过证明在严格耗散性和廉价控制条件下，最优轨迹和控制在长时域内迅速收敛到稳态解，建立了平均场最优控制问题的turnpike性质。作者表明，该turnpike结构在大量相互作用粒子系统的平均场极限中得以保持，确保最优控制在大部分时域内保持接近静态解，且衰减速率由依赖于时域和初始偏差的常数量化。

ABSTRACT

We study the turnpike phenomenon for optimal control problems with mean field dynamics that are obtained as the limit $N ightarrow \infty$ of systems governed by a large number $N$ of ordinary differential equations. We show that the optimal control problems with with large time horizons give rise to a turnpike structure of the optimal state and the optimal control. For the proof, we use the fact that the turnpike structure for the problems on the level of ordinary differential equations is preserved under the corresponding mean-field limit.

研究动机与目标

• 研究在大量相互作用粒子系统中，turnpike性质——即最优控制和状态保持在稳态解附近——是否在平均场极限下依然存在。
• 在严格耗散性和廉价控制假设下，建立当粒子数 N → ∞ 时turnpike结构得以保持的条件。
• 连接微观最优控制问题（有限 N）与介观平均场控制问题（N → ∞），表明两者在turnpike行为上具有等价性。
• 在平均场框架下，为最优控制和状态偏离稳态解的偏差提供定量衰减估计。

提出的方法

• 建立由非局部输运PDE与加法控制输入驱动的平均场最优控制问题，以描述粒子密度的演化。
• 在系统上施加严格耗散性和廉价控制条件，以确保长期收敛至稳态解。
• 利用有限-N ODE系统的平均场极限推导介观PDE模型，在适当假设下保持turnpike结构。
• 应用耗散性不等式，对最优轨迹在时间区间内偏离稳态的偏差进行有界。
• 推导时域内部最优控制对目标泛函贡献的衰减估计，显示其衰减速率为 O(1/(b−a)^n)，其中 n ≥ 1。
• 通过时间区间收缩法，在平均场设定下证明turnpike性质，利用初始测度和控制偏差的有界性。

实验结果

研究问题

• RQ1 在由ODE描述的大规模相互作用粒子系统中，turnpike性质是否在平均场极限下依然成立？
• RQ2 从有限-N系统过渡到平均场PDE极限时，turnpike结构在何种条件下得以保持？
• RQ3 在平均场最优控制框架下，能否对偏离稳态解的偏差衰减速率进行量化？
• RQ4 严格耗散性和廉价控制条件如何促进平均场框架下turnpike性质的出现？
• RQ5 在长时域下，能否对最优控制和状态轨迹在时间上的内部偏差进行一致的有界控制？

主要发现

• 在严格耗散性和廉价控制条件下，平均场最优控制问题的turnpike性质成立，最优轨迹和控制迅速收敛至稳态解。
• 最优状态和控制偏离稳态解的偏差以 O(1/(b−a)^n) 衰减，其中 n ≥ 1，且常数随 n 增大而增长。
• 在平均场情形下，目标泛函在区间 [a + λ(b−a), b] 内的内部衰减受 C²₀ / (λ(b−a)) 乘以初始测度偏差的界约束，其中 C₀ 为耗散性常数。
• 该界可通过归纳法逐步收紧，从而在连续时间区间上获得改进的衰减估计。
• 结果在平均场极限下具有鲁棒性：有限-N系统中观察到的turnpike结构在 N → ∞ 时得以保持。
• 分析确认，在平均场框架下，最优控制问题满足turnpike性质，且无需额外假设，仅依赖于耗散性和廉价控制条件。