[论文解读] Pointwise second-order necessary conditions for stochastic optimal controls, Part II: The general case

Haisen Zhang, Xu Zhang|arXiv (Cornell University)|Sep 26, 2015

Optimization and Variational Analysis参考文献 18被引用 5

一句话总结

本文在一般情况下建立了随机最优控制的逐点二阶必要条件，其中控制区域为非凸集，且控制变量同时进入漂移项和扩散项系数。通过引入四组变分方程与四组伴随方程，作者在庞特里亚金意义下推导出二阶最大值原理，将经典理论扩展至非凸设定，并在哈密顿结构中完整包含二阶信息。

ABSTRACT

This paper is the second part of our series of work to establish pointwise second-order necessary conditions for stochastic optimal controls. In this part, we consider the general cases, i.e., the control region is allowed to be nonconvex, and the control variable enters into both the drift and the diffusion terms of the control systems. By introducing four variational equations and four adjoint equations, we obtain the desired necessary conditions for stochastic singular optimal controls in the sense of Pontryagin-type maximum principle.

研究动机与目标

• 将随机最优控制的二阶必要条件扩展至非凸控制区域之外。
• 处理控制变量同时影响随机微分方程中漂移项与扩散项的情形。
• 为奇异最优控制推导出在庞特里亚金意义下的逐点二阶最大值原理。
• 通过多组变分与伴随方程构建框架，以捕捉在一阶条件退化情况下的二阶效应。

提出的方法

• 引入四组变分方程以建模状态与控制的扰动，捕捉一阶与二阶效应。
• 为变分过程定义四组伴随方程，通过对偶性推导必要条件。
• 使用针形变分技术在控制空间中生成允许的扰动，即使控制集为非凸集。
• 应用伊藤公式与四阶泰勒展开，分析扰动下成本泛函的变化。
• 通过分析成本变化中二阶项的极限，推导出逐点二阶条件，涉及哈密顿函数的海森矩阵。
• 以包含哈密顿函数二阶导数与变分状态的非负二次型形式建立必要条件。

实验结果

研究问题

• RQ1 当控制区域为非凸集时，如何推导随机最优控制的二阶必要条件？
• RQ2 在控制依赖扩散项的情况下，成本泛函的二阶变化具有何种结构？
• RQ3 如何将庞特里亚金型最大值原理强化，以在退化情况下包含二阶信息？
• RQ4 多组伴随方程与变分方程在捕捉随机控制中二阶效应时发挥何种作用？

主要发现

• 本文在一般情况下建立了随机最优控制的逐点二阶必要条件，即使控制集为非凸集也依然有效。
• 二阶条件以包含哈密顿函数二阶导数与变分状态的非负二次型形式表达，沿最优轨迹进行评估。
• 当一阶条件非退化时，该条件退化为一阶庞特里亚金原理，确保与现有理论的一致性。
• 推导依赖于一组新颖的四组变分方程与四组伴随方程，能够精确追踪成本变化中的二阶效应。
• 关键结果为：对于所有允许的针形变分，成本泛函的二阶变化非负，从而导出一个包含哈密顿函数海森矩阵的二次不等式形式的必要条件。