[论文解读] Regret-optimal control in dynamic environments

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|Oct 20, 2020

Advanced Bandit Algorithms Research参考文献 40被引用 9

一句话总结

本文通过推导涉及卡尔曼滤波和后向里卡蒂递推的矩阵分解的因果状态空间表示，为具有噪声状态和测量过程的动态系统构建了后悔最优控制框架。关键贡献是提出一种构造性方法，计算如下形式的因果分解：$ \gamma^2I + G^{\top}(I + FF^{\top})^{-1}G = \Delta^{\top}\Delta$，从而在模型不确定性和时变系统中实现最优控制设计与后悔最小化。

ABSTRACT

We consider control in linear time-varying dynamical systems from the perspective of regret minimization. Unlike most prior work in this area, we focus on the problem of designing an online controller which minimizes regret against the best dynamic sequence of control actions selected in hindsight (dynamic regret), instead of the best fixed controller in some specific class of controllers (static regret). This formulation is attractive when the environment changes over time and no single controller achieves good performance over the entire time horizon. We derive the state-space structure of the regret-optimal controller via a novel reduction to $H_{\infty}$ control and present a tight data-dependent bound on its regret in terms of the energy of the disturbance. Our results easily extend to the model-predictive setting where the controller can anticipate future disturbances and to settings where the controller only affects the system dynamics after a fixed delay. We present numerical experiments which show that our regret-optimal controller interpolates between the performance of the $H_2$-optimal and $H_{\infty}$-optimal controllers across stochastic and adversarial environments.

研究动机与目标

• 为在模型不确定条件下的时变动态系统开发一种后悔最优控制策略。
• 将表达式 $\gamma^2I + G^{\top}(I + FF^{\top})^{-1}G$ 因子分解为因果形式 $\Delta^{\top}\Delta$，以实现最优控制综合。
• 利用前向和后向卡尔曼滤波递推，推导 $L$、$L^{-1}$、$L^{-1}G$ 和 $\Delta$ 的状态空间模型。
• 通过递归矩阵分解和里卡蒂方程，确保所得控制律的因果性和稳定性。

提出的方法

• 基于系统动态 $\xi_{t+1} = A_t\xi_t + B_{u,t}u_t$ 和 $y_t = Q_t^{1/2}\xi_t + v_t$，利用卡尔曼滤波推导 $L$ 的前向状态空间模型，其中状态估计为 $\hat{\xi}_t$，创新项为 $e_t$。
• 通过建模 $y = Le$（$e \sim \mathcal{N}(0, I)$）构建因果分解 $I + FF^{\top} = LL^{\top}$，实现协方差匹配。
• 利用后向时间卡尔曼滤波推导 $\Delta^{\top}$ 的状态空间模型，其中 $\nu_t$ 按 $\nu_{t-1} = \tilde{A}_t^{\top} \nu_t + Q_t^{1/2}R_{e,t}^{-1/2}a_t$ 演化，且 $z_t = B_{w,t}^{\top} \nu_t + b_t$。
• 推导后向里卡蒂递推公式 $P_t^b$，其中 $P_{T}^b = 0$，用于计算后向滤波的卡尔曼增益 $K_{l,t}^b$。
• 通过差值 $\nu_t = \eta_t - \hat{\xi}_t$ 构建 $L^{-1}G$ 的最小状态空间模型，得到 $\nu_{t+1} = \tilde{A}_t \nu_t + B_{w,t}w_t$，$e_t = R_{e,t}^{-1/2}Q_t^{1/2}\nu_t$，其中 $\tilde{A}_t = A_t - K_{p,t}Q_t^{1/2}$。
• 从后向滤波中推导 $\Delta^{-1}$，其中 $\hat{\nu}_{t+1} = (\tilde{A}_t - B_{w,t}(K_{l,t}^b)^{\top})\hat{\nu}_t + B_{w,t}(R_{e,t}^b)^{-1/2}z_t$，且 $f_t = -(K_{l,t}^b)^{\top}\hat{\nu}_t + (R_{e,t}^b)^{-1/2}z_t$，确保因果逆运算。

实验结果

研究问题

• RQ1 如何将后悔最优控制问题表述为涉及噪声协方差矩阵逆的矩阵分解问题？
• RQ2 何种因果状态空间表示可实现 $\Delta$ 的构造，使得 $\gamma^2I + G^{\top}(I + FF^{\top})^{-1}G = \Delta^{\top}\Delta$？
• RQ3 如何利用后向时间卡尔曼滤波推导 $\Delta$ 因子的因果逆，以实现控制综合？
• RQ4 何种递归矩阵方程可确保 $L$、$L^{-1}G$ 和 $\Delta$ 的推导状态空间模型的因果性和稳定性？
• RQ5 如何利用前向与后向滤波之间的协同作用，构建最优控制律的最小且因果的表示？

主要发现

• 本文成功利用前向卡尔曼滤波构建了因果分解 $I + FF^{\top} = LL^{\top}$，其中 $L$ 由状态估计 $\hat{\xi}_t$ 和创新项 $e_t$ 推导得出。
• 推导出 $L^{-1}G$ 的最小状态空间模型：$\nu_{t+1} = \tilde{A}_t \nu_t + B_{w,t}w_t$，$e_t = R_{e,t}^{-1/2}Q_t^{1/2}\nu_t$，其中 $\tilde{A}_t = A_t - K_{p,t}Q_t^{1/2}$，确保因果性和最小阶次。
• 推导出后向里卡蒂递推公式 $P_t^b$，其中 $P_T^b = 0$，从而可计算用于 $\Delta$ 构造的后向滤波卡尔曼增益 $K_{l,t}^b$。
• 通过 $\hat{\nu}_{t+1} = \tilde{A}_t \hat{\nu}_t + B_{w,t}f_t$，$z_t = (R_{e,t}^b)^{1/2}(K_{l,t}^b)^{\top} \hat{\nu}_t + (R_{e,t}^b)^{1/2}f_t$ 得到 $\Delta$ 的因果状态空间模型，确保 $\Delta^{\top}\Delta = \gamma^2I + G^{\top}(I + FF^{\top})^{-1}G$。
• 通过后向滤波构建 $\Delta^{-1}$，其中 $\hat{\nu}_{t+1} = (\tilde{A}_t - B_{w,t}(K_{l,t}^b)^{\top})\hat{\nu}_t + B_{w,t}(R_{e,t}^b)^{-1/2}z_t$，且 $f_t = -(K_{l,t}^b)^{\top}\hat{\nu}_t + (R_{e,t}^b)^{-1/2}z_t$，确保因果逆运算。
• 通过组合 $\Delta^{-1}$ 和 $G$ 的状态空间模型，推导出 $G\Delta^{-1}$ 的整体系统模型，得到联合系统 $\zeta_t = \eta_t + \psi_t$，从而实现完整的控制律综合。