[论文解读] Optimal Covariance Steering for Discrete-Time Linear Stochastic Systems
本文建立了在使用二次代价函数将离散时间线性随机系统的状态协方差引导至期望终态分布时，最优控制律存在的唯一性。证明了最优均值与协方差引导问题的可分性，并表明可通过无损凸松弛重述为半定规划（SDP），从而实现最优控制律的高效且精确计算。
In this paper, we study the optimal control problem for steering the state covariance of a discrete-time linear stochastic system over a finite time horizon. First, we establish the existence and uniqueness of the optimal control law for a quadratic cost function. Then, we show the separation of the optimal mean and the covariance steering problems. We also develop efficient computational methods to solve for the optimal control law, which is identified as the solution to a semi-definite program. The effectiveness of the proposed approach is demonstrated through numerical examples. In the process, we also obtain some novel theoretical results for a matrix Riccati difference equation, which may be of independent interest.
研究动机与目标
- 建立离散时间线性随机系统有限时域协方差引导问题的最优控制律存在性与唯一性。
- 在二次代价函数下，证明最优均值与协方差引导问题的可分性。
- 通过凸优化方法，开发一种计算高效的最优控制问题求解方法。
- 证明非凸协方差引导问题的无损凸松弛可通过半定规划（SDP）精确求解。
- 提供关于最优控制求解过程中出现的矩阵黎卡提差分方程性质的理论洞见。
提出的方法
- 将有限时域协方差引导问题表述为在具有过程噪声的离散时间线性随机系统上，采用二次代价函数的最优控制问题。
- 通过分析由汉密尔顿-雅可比-贝尔曼方程导出的矩阵黎卡提差分方程，证明最优控制律的存在性与唯一性。
- 通过证明在无约束条件下二者相互独立，实现最优均值与协方差引导问题的解耦。
- 通过无损凸松弛技术，将原始非凸优化问题重述为凸半定规划（SDP）。
- 利用强对偶性与严格可行性，证明SDP的最优解与原始非凸问题的解完全一致。
- 实现并比较两种求解方法：牛顿法用于直接非线性优化，以及基于SDP的凸优化方法，使用YALMIP与MOSEK求解器。
实验结果
研究问题
- RQ1在有限时域内，是否存在最优控制律，可将离散时间线性随机系统的状态协方差引导至给定的终态协方差？
- RQ2在二次代价函数下，最优控制律是否唯一？
- RQ3在无约束条件下，最优均值与协方差引导问题能否独立求解？
- RQ4非凸协方差引导问题能否通过凸松弛精确求解？
- RQ5在最优控制解中出现的矩阵黎卡提差分方程具有哪些结构与分析性质？
主要发现
- 在给定的二次代价函数下，离散时间线性随机系统有限时域协方差引导的最优控制律存在且唯一。
- 当不施加机会约束时，最优均值与协方差引导问题具有可分性，允许独立优化。
- 原始非凸协方差引导问题具有无损凸松弛，且由此得到的半定规划（SDP）的最优解即为原始问题的最优解。
- 所提出的SDP公式化方法可借助标准凸优化求解器，实现最优控制律的精确且高效计算，且在高维系统中相比牛顿法展现出更好的可扩展性。
- 数值结果表明，基于SDP的解法与牛顿法在最优轨迹、均值路径及协方差椭圆上完全一致，验证了理论结论。
- 本文推导出控制最优性所依赖的矩阵黎卡提差分方程的新理论性质，这些性质在控制理论中可能具有独立研究价值。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。