[论文解读] Stochastic LQ and Associated Riccati equation of PDEs Driven by State-and Control-Dependent White Noise

Ying Hu, Shanjian Tang|arXiv (Cornell University)|Sep 14, 2018

Stochastic processes and financial applications参考文献 11被引用 5

一句话总结

本文建立了由状态和控制相关联的时空白噪声驱动的线性SPDE的线性二次（LQ）随机最优控制问题中出现的Riccati方程和Lyapunov方程的首个适定性结果。证明了最优控制为由关联Riccati方程解导出的奇异反馈律，并通过受控Andersen模型说明了零可控性等价于具有奇异终端条件的解的存在性。

ABSTRACT

The optimal stochastic control problem with a quadratic cost functional for linear partial differential equations (PDEs) driven by a state-and control-dependent white noise is formulated and studied. Both finite-and infinite-time horizons are considered. The multi-plicative white noise dynamics of the system give rise to a new phenomenon of singularity to the associated Riccati equation and even to the Lyapunov equation. Well-posedness of both Riccati equation and Lyapunov equation are obtained for the first time. The linear feedback coefficient of the optimal control turns out to be singular and expressed in terms of the solution of the associated Riccati equation. The null controllability is shown to be equivalent to the existence of the solution to Riccati equation with the singular terminal value. Finally, the controlled Anderson model is addressed as an illustrating example.

研究动机与目标

• 为由状态和控制相关联的时空白噪声驱动的SPDE，制定并求解无限维线性二次随机最优控制问题。
• 解决由乘法白噪声动力学引起的关联Riccati与Lyapunov方程中的新颖奇异性。
• 在奇异终端条件下，建立Riccati方程解的存在性与唯一性。
• 将最优控制表征为涉及Riccati方程解的反馈律。
• 证明零可控性等价于具有奇异终端条件的Riccati方程解的存在性。

提出的方法

• 为具有状态和控制相关系数的柱形Wiener过程驱动的SPDE，制定LQ控制问题。
• 通过正向SPDE提出一种新表示方法，以估计Lyapunov与Riccati方程中∑C_i^* P_s C_i的无穷级数。
• 对Riccati方程应用准线性化方法，尽管在t=0和t=T处存在奇异系数，仍证明解的单调性与收敛性。
• 提出一种新的截断方法以推导能量等式，克服在时空白噪声存在下Yosida逼近失效的问题。
• 利用Riccati方程的解，以反馈形式合成最优控制。
• 将结果应用于受控Andersen模型作为具体实例，验证条件并推导反馈律。

实验结果

研究问题

• RQ1 即使在终端时刻存在奇异系数，由状态与控制相关联的时空白噪声驱动的SPDE所关联的Riccati方程是否仍适定？
• RQ2 对于此类系统，即使反馈系数奇异，最优控制是否仍能通过Riccati方程的解以反馈形式表达？
• RQ3 零可控性与具有奇异终端条件的Riccati方程解的存在性之间的确切关系是什么？
• RQ4 当无穷级数∑C_i^* P_s C_i导致希尔伯特空间中有界算子时，Lyapunov方程如何求解？
• RQ5 该理论框架能否成功应用于受控Andersen模型这一具有乘法时空白噪声的SPDE典型例子？

主要发现

• 即使具有奇异终端条件，与具有状态和控制相关联白噪声的SPDE的LQ控制问题相关的Riccati方程也是适定的，并在[0,T)上存在唯一的温和解。
• 证明最优控制为奇异反馈律，表达为u_t = -λ(t, P_t) * (R_t)^{-1} B_t^* P_t X_t，其中P_t为Riccati方程的解。
• 证明系统的零可控性等价于在时间T处具有奇异终端条件的Riccati方程解的存在性。
• 通过涉及正向SPDE解的新表示方法，证明Lyapunov方程是适定的，从而能够估计无穷级数∑C_i^* P_s C_i。
• 受控Andersen模型作为实例被成功处理，理论应用于推导在有界可测系数下的反馈控制律。
• 对于时不变系数，在可稳定化条件下，代数Riccati方程具有唯一解，从而可在无限时域情况下合成最优反馈控制。