[论文解读] Stochastic maximum principle for equations with delay: the non-convex case

Giuseppina Guatteri, Federica Masiero|arXiv (Cornell University)|May 21, 2018

Stochastic processes and financial applications被引用 5

一句话总结

本文建立了带有状态点时滞和控制相关噪声的随机最优控制的随机最大值原理，即使控制集非凸也适用。通过引入一阶和二阶伴随倒向随机微分方程（BSDEs），推导出必要最优性条件，将庞特里亚金原理推广至具有时滞动态的非凸情形。

ABSTRACT

In this paper we develop necessary conditions for optimality, in the form of the stochastic Pontryagin maximum principle, for controlled equations with pointwise delay in the state and with control dependent noise, in the general case of controls $u \in U$ with $U$ not necessarily convex. The maximum principle is formulated by means of first and second order adjoint BSDEs. We also outline how to deal with control problems with pointwise delay both in the state and in the control.

研究动机与目标

• 将随机庞特里亚金最大值原理推广至具有状态点时滞的受控随机微分方程。
• 解决控制集U非凸的情形，此情形限制了经典最优性条件的适用性。
• 通过一阶和二阶伴随倒向随机微分方程（BSDEs）制定必要最优性条件。
• 将框架推广至同时包含状态和控制变量时滞的情形。

提出的方法

• 为具有状态点时滞和控制相关扩散系数的随机系统制定最优控制问题。
• 引入一阶伴随BSDEs，以捕捉成本泛函对状态扰动的敏感性。
• 推导二阶伴随BSDEs，以考虑二阶变分及非凸控制约束。
• 应用随机最大值原理框架，推导非凸情形下的最优性必要条件。
• 通过相应扩展伴随系统结构，处理状态和控制中同时存在的时滞。
• 使用变分法和对偶论证，在控制集不具凸性的情况下建立最优性条件。

实验结果

研究问题

• RQ1 当控制集非凸时，如何为具有状态点时滞的随机控制系统推导必要最优性条件？
• RQ2 在非凸控制约束下，二阶伴随BSDEs在表征最优控制方面起什么作用？
• RQ3 状态和控制变量中的时滞效应如何影响伴随方程和最大值原理的结构？
• RQ4 能否将随机最大值原理推广至具有时滞的非凸控制集系统？
• RQ5 当状态和控制中均出现时滞时，伴随系统需要进行哪些修改以保持必要最优性条件？

主要发现

• 本文建立了具有状态点时滞和控制相关噪声的受控随机微分方程的随机最大值原理，即使控制集非凸也成立。
• 引入一阶和二阶伴随倒向随机微分方程（BSDEs）作为推导必要最优性条件的核心工具。
• 最大值原理的表述不依赖于控制集的凸性，从而扩大了其在非凸控制问题中的适用范围。
• 该框架被扩展以处理状态和控制变量中的时滞，为这类系统提供了统一的处理方法。
• 推导出的最优性条件是必要的，并以伴随过程的形式表达，从而可验证候选最优控制的有效性。