[论文解读] Optimal Control for Discrete-time Markov Jump Linear System with Control Input Delay

Chunyan Han, Hongdan Li+1 more|arXiv (Cornell University)|Aug 19, 2018

Stability and Control of Uncertain Systems参考文献 17被引用 4

一句话总结

本文提出了一种针对具有控制输入延迟的离散时间马尔可夫跳跃线性系统（MJLS）在有限时域下的新型解析解法。通过引入改进的延迟前向与后向跳跃参数差分方程以及d步后向公式，作者推导出最优性的充分必要条件，从而得到一个显式控制器，该控制器是当前及历史状态与控制输入的线性函数，反馈增益通过一种新型耦合差分Riccati方程计算得出。

ABSTRACT

This paper deals with the finite horizon optimal control problem for discrete-time Markov jump linear system with input delay. The correlation among the jumping parameters and the input delay are considered simultaneously, which forms the basic difficulty of the design. one of the key techniques is to solve a delayed forward and backward jumping parameter difference equation which is obtained by an improved maximum principle, and the other is the introduction of a "d-step backward formula". Based on the proposed techniques, a necessary and sufficient condition for the existence of the optimal controller is given in an explicit form and an analytical solution to the optimal controller is supplied. The optimal controller is a linear function of the current time state and the historical time control input, where the feedback gains are a set of jumping parameter matrices derived by solving a new type of coupled difference Riccati equation. The key step in the derivation is to establish the relationship between the costate and the real state of the system. The result obtained in this paper can be viewed as a generalization of the standard case, in which there is only one mode of operation.

研究动机与目标

• 解决离散时间马尔可夫跳跃线性系统（MJLS）在控制输入经历随机延迟时的最优控制挑战。
• 克服跳跃参数与输入延迟之间相关性所导致的双重困难，该相关性使标准动态规划与分离原理失效。
• 基于随机最大值原理提出一种直接方法，推导出无需依赖分离原理的显式最优控制器。
• 建立最优控制器存在的充分必要条件，并以闭式表达。
• 将标准MJLS最优控制理论推广至输入延迟情形，将结果扩展至具有乘性噪声与延迟的随机系统。

提出的方法

• 引入改进的延迟前向与后向跳跃参数差分方程（D-FBJPE），以处理代价态动态中的输入延迟。
• 提出d步后向公式，以解耦跳跃参数与延迟控制输入之间的相关性。
• 应用改进的随机最大值原理，推导最优性的必要条件，建立代价态与状态动态之间的联系。
• 推导出一种新型耦合差分Riccati方程，其解可提供最优控制器的时间变反馈增益。
• 利用向后归纳法与条件数学期望，将代价态表示为当前及历史状态的函数，从而实现显式控制器合成。
• 将矩阵 $ W_{l_{k-d}} $ 的可逆性确立为最优控制律存在的关键条件。

实验结果

研究问题

• RQ1 当控制输入受到随机延迟影响时，如何在离散时间MJLS中实现最优控制？
• RQ2 需要哪些数学工具来处理马尔可夫跳跃参数与输入延迟并存的情况？
• RQ3 能否为该类系统推导出最优控制器存在的充分必要条件的闭式表达？
• RQ4 在存在输入延迟与马尔可夫切换的情况下，代价态如何与系统状态相关联？
• RQ5 最优控制器的结构是怎样的，其反馈增益如何实现高效计算？

主要发现

• 最优控制器是当前状态与历史控制输入的线性函数，反馈增益由一种新型耦合差分Riccati方程导出。
• 最优控制器存在的充要条件为：对所有 $ k $ 与模式 $ l_{k-d} $，矩阵 $ W_{l_{k-d}} $ 均为正定矩阵。
• 代价态 $ \lambda_{k-1} $ 表示为未来状态条件期望的线性组合，其系数由d步后向公式导出。
• 控制器结构通过时变增益矩阵显式考虑了输入延迟，将过去控制输入纳入设计。
• 该解法通过新型Riccati型方程系统，将延迟效应融入标准MJLS最优控制理论，实现理论推广。
• 推导过程建立了代价态与真实状态之间的精确关系，这对在马尔可夫切换下求解延迟系统至关重要。