[论文解读] Open-Loop and Closed-Loop Solvabilities for Stochastic Linear Quadratic Optimal Control Problems

Jingrui Sun, Xun Li+1 more|arXiv (Cornell University)|Aug 10, 2015

Stochastic processes and financial applications参考文献 17被引用 10

一句话总结

本文建立了随机线性二次（LQ）最优控制问题中开环与闭环可解性之间的区别，表明闭环可解性要求黎卡提方程可解且代价泛函具有一致凸性，而开环可解性则通过极小化控制序列的收敛性来表征。主要贡献在于严格分析了当控制加权矩阵 $ R(s) $ 不为正定时，LQ 问题仍保持有限且可解的条件，并通过反例表明闭环可解性并不蕴含开环可解性。

ABSTRACT

This paper is concerned with a stochastic linear quadratic (LQ, for short) optimal control problem. The notions of open-loop and closed-loop solvabilities are introduced. A simple example shows that these two solvabilities are different. Closed-loop solvability is established by means of solvability of the corresponding Riccati equation, which is implied by the uniform convexity of the quadratic cost functional. Conditions ensuring the convexity of the cost functional are discussed, including the issue that how negative the control weighting matrix-valued function R(s) can be. Finiteness of the LQ problem is characterized by the convergence of the solutions to a family of Riccati equations. Then, a minimizing sequence, whose convergence is equivalent to the open-loop solvability of the problem, is constructed. Finally, an illustrative example is presented.

研究动机与目标

• 澄清随机线性二次（LQ）最优控制问题中开环与闭环可解性的区别。
• 建立当控制加权矩阵 $ R(\bullet) $ 不为正定时，LQ 问题仍保持有限且可解的条件。
• 通过极小化控制序列的收敛性表征开环可解性。
• 证明闭环可解性等价于在代价泛函具有一致凸性条件下，关联黎卡提方程的可解性。

提出的方法

• 为具有通用系数的随机LQ问题引入开环与闭环可解性的概念。
• 利用黎卡提方程表征闭环可解性，表明其可解性蕴含闭环最优性。
• 证明代价泛函的一致凸性可确保黎卡提方程可解，从而保证闭环可解性。
• 构造一个控制序列，其收敛性等价于开环可解性。
• 通过正则化参数 $ \varepsilon \to 0 $ 时一族黎卡提方程解的收敛性分析LQ问题的有限性。
• 提供一个反例，说明问题可开环可解但不可闭环可解，凸显两种概念的差异。

实验结果

研究问题

• RQ1 当控制加权矩阵 $ R(s) $ 不为正定时，随机线性二次最优控制问题在何种条件下是开环可解的？
• RQ2 在随机LQ问题中，开环可解性与闭环可解性之间的精确关系是什么？
• RQ3 黎卡提方程的可解性如何与闭环可解性关联，且在何种条件下可确保其可解性？
• RQ4 当 $ R(s) $ 为不定时，代价泛函是否仍可保持有限且问题可解？若可解，需满足何种条件？
• RQ5 一族黎卡提方程解的收敛性在表征LQ问题有限性方面起何种作用？

主要发现

• 当且仅当关联的黎卡提方程可解时，问题才是闭环可解的，而代价泛函的一致凸性可推出该条件。
• 当矩阵 $ Q(s) - S(s)^T R(s)^{-1} S(s) $ 为半正定矩阵时，代价泛函具有一致凸性，即使 $ R(s) $ 不为正定。
• LQ问题的有限性由正则化参数 $ \varepsilon \to 0 $ 时一族黎卡提方程解的收敛性表征。
• 开环可解性等价于一个极小化控制序列的收敛性，该序列在本文中被显式构造。
• 提供了一个反例，说明问题可开环可解但不可闭环可解，从而证明两种概念是不同的。
• 在极限 $ \varepsilon \to 0 $ 下，正则化问题的值函数收敛于 $ V^0(t,x) = 0 $（当 $ t < 1 $ 时），且 $ V^0(1,x) = x^2 $，确认了原问题的有限性与开环可解性。