[论文解读] Optimal Competitive-Ratio Control

Oron Sabag, Sahin Lale+1 more|arXiv (Cornell University)|Jun 3, 2022

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文提出了竞争比控制问题的首个显式最优解，通过将其形式化为Nehari问题，推导出最小竞争比为一个简单矩阵的最大特征值。该解生成了一个状态空间控制器，通过最小化因果控制器与全知控制器成本之间的最坏情况比值，实现了最优性能，在大规模系统中优于现有方法。

ABSTRACT

Inspired by competitive policy designs approaches in online learning, new control paradigms such as competitive-ratio and regret-optimal control have been recently proposed as alternatives to the classical $\mathcal{H}_2$ and $\mathcal{H}_\infty$ approaches. These competitive metrics compare the control cost of the designed controller against the cost of a clairvoyant controller, which has access to past, present, and future disturbances in terms of ratio and difference, respectively. While prior work provided the optimal solution for the regret-optimal control problem, in competitive-ratio control, the solution is only provided for the sub-optimal problem. In this work, we derive the optimal solution to the competitive-ratio control problem. We show that the optimal competitive ratio formula can be computed as the maximal eigenvalue of a simple matrix, and provide a state-space controller that achieves the optimal competitive ratio. We conduct an extensive numerical study to verify this analytical solution, and demonstrate that the optimal competitive-ratio controller outperforms other controllers on several large scale practical systems. The key techniques that underpin our explicit solution is a reduction of the control problem to a Nehari problem, along with a novel factorization of the clairvoyant controller's cost. We reveal an interesting relation between the explicit solutions that now exist for both competitive control paradigms by formulating a regret-optimal control framework with weight functions that can also be utilized for practical purposes.

研究动机与目标

• 通过提供显式最优解，弥合竞争比控制中的研究空白，与以往仅解决次优问题的工作形成对比。
• 推导最小竞争比的闭式表达式，实现与全知控制器的性能基准对比。
• 设计一种状态空间控制器，为一般线性时不变系统实现最优竞争比。
• 通过在状态、输入和扰动上引入加权算子，统一后悔最优与竞争比控制框架。
• 在大规模实际系统中展示最优控制器的优越经验性能。

提出的方法

• 利用算子理论技术将控制问题重新表述为Nehari问题，从而可通过已知的Nehari问题求解器实现最优解。
• 提出全知控制器成本的一种新颖分解方式，以实现向Nehari问题的约化。
• 最优竞争比通过由系统参数导出的简单矩阵的最大特征值计算得出。
• 状态空间控制器通过求解两个Riccati方程和三个Lyapunov方程构建。
• 通过在状态、输入和扰动上引入加权算子，将框架推广为后悔最优控制。
• 在多个大规模系统上通过数值实验验证了解的理论最优性与性能提升。

实验结果

研究问题

• RQ1 在有界能量扰动下，线性时不变系统中的最小竞争比是否存在显式公式？
• RQ2 如何显式地以状态空间形式构造最优控制器，以实现该最小比值？
• RQ3 在基本数学结构上，后悔最优控制与竞争比控制之间存在何种关系？
• RQ4 竞争比控制问题能否约化为可解的Nehari问题？若能，具体方法为何？
• RQ5 在真实世界系统中，最优竞争比控制器相较于次优或经典H2/H∞控制器的性能表现如何？

主要发现

• 最优竞争比显式表示为由系统动态和成本参数导出的简单矩阵的最大特征值。
• 最优控制器通过求解两个Riccati方程和三个Lyapunov方程构建，支持实际实现。
• 对于标量系统，最优竞争比控制器退化为标准LQR（H2）控制器。
• 通过广泛的数值研究验证，该控制器在大规模系统中相比现有控制器表现出更优性能。
• 该框架揭示了竞争比控制与后悔最优控制之间的对偶性，其中竞争比控制等价于加权后悔最优问题。
• 显式推导出状态空间控制器结构，其清晰实现包含辅助状态和反馈增益。