[论文解读] Stochastic maximum principle for infinite dimensional control systems

Kai Du, Qingxin Meng|arXiv (Cornell University)|Aug 2, 2012

Stochastic processes and financial applications参考文献 13被引用 7

一句话总结

本文为具有非凸控制域和控制相关扩散项的无限维受控随机演化系统建立了随机最大值原理（SMP）。通过引入算子值倒向随机微分方程（BSDE）的广义解概念，证明了二阶伴随过程的存在性与唯一性，从而在最小正则性假设下实现了完整的SMP公式化。

ABSTRACT

The general maximum principle is proved for an infinite dimensional controlled stochastic evolution system. The control is allowed to take values in a nonconvex set and enter into both drift and diffusion terms. The operator-valued backward stochastic differential equation, which characterizes the second-order adjoint process, is understood via the concept of "generalized solution" proposed by Guatteri and Tessitore [SICON 44 (2006)].

研究动机与目标

• 为控制进入漂移项与扩散项的无限维随机控制系统建立一个通用的随机最大值原理（SMP）。
• 解决当控制集为非凸且扩散依赖于控制时，无限维情形下缺乏完整SMP的问题。
• 为表征二阶伴随过程的算子值倒向随机微分方程（BSDE）建立一个严格的求解框架。
• 通过广义BSDE解，将彭的二阶变分方法推广至无限维设置。
• 以哈密顿函数与二阶伴随变量的形式，证明最优控制的必要最优性条件。

提出的方法

• 在希尔伯特空间中，针对由非线性随机演化方程（SEE）控制的最优控制问题进行公式化，其中控制属于一个非凸集合。
• 对代价泛函应用尖峰变分，导出包含状态与代价的一阶和二阶变分的二阶展开式。
• 引入 $ B(H) $-值倒向随机微分方程（BSDE）的“广义解”概念，参考Guatteri与Tessitore（2006）的方法，以表征二阶伴随过程。
• 在系数满足全局弗雷chet可微性与有界性假设下，证明广义解的存在性与唯一性。
• 通过对扰动状态过程 $ y^ au $ 使用对偶分析与极限论证，将二阶变分与广义解 $ P(t) $ 关联起来。
• 应用勒贝格微分定理与紧致性论证，使变分不等式中的极限成立，从而得出最终的SMP。

实验结果

研究问题

• RQ1 当控制域为非凸且扩散依赖于控制时，能否为无限维系统建立一个通用的随机最大值原理？
• RQ2 在算子值倒向随机微分方程的背景下，如何严格定义并求解二阶伴随过程？
• RQ3 广义解概念在克服二阶伴随BSDE缺乏完整解结构的问题中起到什么作用？
• RQ4 二阶变分分析如何在无限维设置中导出必要最优性条件？
• RQ5 在何种条件下，基于哈密顿函数的变分不等式对最优控制几乎必然成立？

主要发现

• 本文证明了表征二阶伴随过程的算子值倒向随机微分方程存在且唯一的广义解。
• 广义解框架使得能够为具有非凸控制域和控制相关扩散的无限维系统推导出完整的随机最大值原理。
• 必要最优性条件被确立为一个涉及哈密顿函数与广义解 $ P(\tau) $ 的变分不等式，对几乎所有 $ \tau \neq 0 $ 成立。
• 证明了代价泛函的二阶变分收敛于一个包含 $ \frac{1}{2} \mathbb{E} \langle g^\Delta(\tau), P(\tau) g^\Delta(\tau) \rangle_{l^2(H)} $ 的极限，该表达式捕捉了曲率效应。
• 证明依赖于一个关键引理，表明归一化的一阶变分 $ \varepsilon^{-1/2} x_1(t) $ 在 $ L^4 $ 范数下收敛于一个求解扰动线性化方程的过程 $ y^\varepsilon(t) $。
• 最终的最优性条件通过极限论证与勒贝格微分定理推导得出，确保不等式在 $ [0,1) $ 上几乎必然成立。