[论文解读] On the Control of Density-Dependent Stochastic Population Processes with Time-Varying Behavior

Yingdong Lu, Mark S. Squillante+1 more|arXiv (Cornell University)|Sep 23, 2017

Stochastic processes and statistical mechanics参考文献 15被引用 4

一句话总结

本文建立了时变、密度依赖的随机种群过程的平均场极限，证明其收敛于非自治动力系统。进一步证明了随机过程的最优控制在渐近意义上收敛于极限动力系统的最优控制，将经典结果扩展至时变参数，并通过严格的理论分析予以支持。

ABSTRACT

The study of density-dependent stochastic population processes is important from a historical perspective as well as from the perspective of a number of existing and emerging applications today. In more recent applications of these processes, it can be especially important to include time-varying parameters for the rates that impact the density-dependent population structures and behaviors. Under a mean-field scaling, we show that such density-dependent stochastic population processes with time-varying behavior converge to a corresponding dynamical system. We analogously establish that the optimal control of such density-dependent stochastic population processes converges to the optimal control of the limiting dynamical system. An analysis of both the dynamical system and its optimal control renders various important mathematical properties of interest.

研究动机与目标

• 分析具有时变转移率的密度依赖随机种群过程，将经典模型扩展至非静态参数的情形。
• 建立此类过程的平均场极限，证明在缩放下其收敛于连续状态的非自治动力系统。
• 研究随机过程的最优控制，并证明其渐近等价于极限动力系统的最优控制。
• 推导极限非自治系统的数学性质，如平衡点、稳定性及渐近行为。
• 为控制具有时变动态的复杂大规模系统（如网络、流行病和金融系统）提供理论基础。

提出的方法

• 形式化定义一个具有时变转移强度的连续时间、离散状态的马尔可夫过程模型，用于描述密度依赖的种群动力学。
• 应用平均场缩放（当 $ n \to \infty $ 时），证明重标度过程收敛于由常微分方程控制的非自治动力系统。
• 通过生成元分析和矩方程推导极限系统的动力学，证明一阶与二阶矩的收敛性。
• 引入具有时变控制输入的随机最优控制问题，并证明受控随机过程与受控极限系统之间的渐近等价性。
• 采用比较定理（如 Gronwall 型）和 Lyapunov 稳定性分析，以控制矩并建立收敛速率。
• 利用 Hartman-Grobman 定理和 Lyapunov 函数分析极限非自治系统的稳定性和长期行为。

实验结果

研究问题

• RQ1 时变转移率的引入如何影响密度依赖随机种群过程的平均场极限？
• RQ2 有限种群随机过程的最优控制是否收敛于其极限非自治动力系统的最优控制？
• RQ3 在时变参数下，极限非自治动力系统的平衡点与稳定性特性为何？
• RQ4 在时变强度下，矩动态（尤其是二阶矩）如何演变？可导出何种界？
• RQ5 经典关于收敛性与稳定性的结果能否推广至具有时变系数的非自治系统？

主要发现

• 即使在时变转移率下，重标度的密度依赖随机过程在平均场缩放下也以分布收敛于非自治动力系统。
• 当种群规模 $ n \to \infty $ 时，随机过程的最优控制渐近等价于极限动力系统最优控制，确立了极限下的等价性。
• 推导出二阶矩 $ \mathbb{E}[Y_n(t)^2] $ 的界，表明其被一个依赖于时变率和 $ 1/n $ 的函数 $ w_n(t) $ 一致有界，表明 $ L^2 $ 收敛。
• 证明了一阶矩 $ \mathbb{E}[Y_n(t)] $ 下方有界，其下界由比较定理导出，且依赖于时变参数。
• 由于时变系数的存在，极限系统表现出复杂行为，其稳定性通过 Lyapunov 函数与 Hartman-Grobman 定理进行分析。
• 分析确认极限系统的动力由时变常微分方程控制，且在漂移函数连续性与 Lipschitz 连续性的标准假设下，收敛结果成立。