[论文解读] The Relaxed Stochastic Maximum Principle in the Mean-field Singular Controls

Liangquan Zhang|arXiv (Cornell University)|Feb 19, 2012

Stochastic processes and financial applications参考文献 17被引用 7

一句话总结

本文为具有奇异控制的均值场型SDE的最优控制问题建立了松弛的随机最大值原理，其中动态系统和代价泛函依赖于状态及其期望。通过结合尖峰变分法与Ekeland变分原理，利用伴随方程和变分不等式，推导出测度值控制的必要最优性条件，将经典随机最大值原理推广至具有奇异分量的时不一致均值场设置。

ABSTRACT

In this paper, we study the optimal control system driven by stochastic differential equations (SDEs) of mean-field type, in which the control variable has two components, the first being absolutely continuous and the second singular. On the other hand, the coefficients depend on the state of the solution process as well as of its expected value. Moreover, the cost functional is also of mean field type. This makes the control problem time inconsistent in the sense that the Bellman optimality principle does not hold. Our aim is to derive a stochastic maximum principle of optimal control of Pontriagin type to the class of measure-valued controls.

研究动机与目标

• 解决由于系数依赖于期望而导致贝尔曼原理失效的均值场SDE中的时不一致最优控制问题。
• 将随机最大值原理扩展至同时包含绝对连续控制与奇异控制分量的奇异控制问题。
• 在状态与期望依赖的均值场背景下，为松弛控制（测度值）建立必要的最优性条件。
• 为由均值场SDE近似描述的粒子相互作用系统，建立最优控制的框架。
• 将现有关于奇异控制的结果推广至均值场设置，特别是针对非凸控制域的情形。

提出的方法

• 构建一个漂移、扩散和奇异控制分量均存在的均值场SDE，其中系数依赖于状态及其期望。
• 引入一个同样是均值场类型的代价泛函，导致时不一致性。
• 对绝对连续控制应用尖峰变分法，对奇异控制应用凸扰动，以推导一阶必要最优性条件。
• 利用Ekeland变分原理，推导出收敛于松弛控制的严格控制的近似最优性条件。
• 在控制收敛下建立轨迹与伴随过程的稳定性，从而实现松弛最大值原理的推导。
• 推导出包含伴随倒向SDE及奇异控制分量变分不等式的随机哈密顿系统。

实验结果

研究问题

• RQ1 当由于时不一致性导致贝尔曼原理失效时，如何为具有奇异控制的均值场SDE最优控制问题推导出必要最优性条件？
• RQ2 在具有测度值控制的均值场奇异控制问题中，伴随倒向SDE的结构是怎样的？
• RQ3 在均值场SDE的松弛控制框架下，最优控制与伴随过程之间如何相互作用？
• RQ4 在均值场奇异控制设置中，伴随过程的存在性与唯一性需要满足什么条件？
• RQ5 如何用哈密顿函数与伴随变量表征奇异控制的变分不等式条件？

主要发现

• 本文为均值场奇异控制问题建立了松弛的随机最大值原理，以哈密顿系统的形式提供了必要最优性条件。
• 最优控制在哈密顿函数上满足控制集上的最小化条件，该条件既作用于控制值，也作用于测度值控制。
• 伴随过程满足一个由状态及其期望驱动的倒向随机微分方程（BSDE），确保与前向均值场SDE的一致性。
• 奇异控制分量满足一个涉及伴随过程与控制跳跃分量的变分不等式，确保哈密顿增量的非负性。
• 通过轨迹与伴随过程的稳定性，建立了严格控制向松弛控制的收敛性，从而实现松弛原理的推导。
• 结果将经典随机最大值原理推广至具有奇异控制的均值场设置，尤其在非凸控制域下具有广泛适用性。