[论文解读] Regret-optimal measurement-feedback control

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|Nov 24, 2020

Advanced Bandit Algorithms Research参考文献 13被引用 7

一句话总结

该论文提出了一种后悔最优的测量反馈控制框架，通过最小化相对于理想控制器的最坏情况性能损失，实现鲁棒性能。通过利用涉及系统和控制器增益的结构化矩阵变换，推导出一个传递算子恒等式，使通过凸优化实现最优控制器综合成为可能，从而在模型不确定性下保持鲁棒性能。

ABSTRACT

We consider measurement-feedback control in linear dynamical systems from the perspective of regret minimization. Unlike most prior work in this area, we focus on the problem of designing an online controller which competes with the optimal dynamic sequence of control actions selected in hindsight, instead of the best controller in some specific class of controllers. This formulation of regret is attractive when the environment changes over time and no single controller achieves good performance over the entire time horizon. We show that in the measurement-feedback setting, unlike in the full-information setting, there is no single offline controller which outperforms every other offline controller on every disturbance, and propose a new $H_2$-optimal offline controller as a benchmark for the online controller to compete against. We show that the corresponding regret-optimal online controller can be found via a novel reduction to the classical Nehari problem from robust control and present a tight data-dependent bound on its regret.

研究动机与目标

• 开发一种在模型不确定性下最小化后悔（相对于理想控制器的最坏情况性能损失）的控制框架。
• 解决在仅能获得部分状态测量时，利用测量反馈架构设计最优控制器的挑战。
• 建立控制器传递算子与结构化矩阵变换之间的数学恒等式，从而实现后悔准则的凸优化。
• 提供一种计算上可处理的控制器综合方法，确保在系统参数存在不确定性时的鲁棒性与最优性。

提出的方法

• 引入结构化矩阵变换，使用 $ S = I + FF^ op $, $ T = I + F^ op F $, $ U = I + LL^ op $, 和 $ V = I + L^ op L $ 来参数化控制器和系统动态特性。
• 定义变换矩阵 $ \theta $ 和 $ \psi $，将控制器的传递算子映射到规范形式，从而推导出涉及传递算子 $ \mathcal{T}_K $ 的恒等式。
• 建立传递算子 $ \mathcal{T}_K $ 与变换后矩阵之间的精确恒等式，使后悔最小化问题可重述为凸优化任务。
• 利用该恒等式将后悔表示为结构化矩阵的逆平方根形式，从而实现最优增益的高效计算。
• 通过将控制器的状态估计与反馈结构嵌入矩阵参数化，将该框架应用于测量反馈控制。
• 推导出最优控制器最小化相对于理想性能最坏偏差的条件，确保鲁棒性与最优性。

实验结果

研究问题

• RQ1 在无法获得完整状态信息的测量反馈设置下，如何构建后悔最优控制？
• RQ2 何种数学结构使得后悔最小化问题可转化为凸优化问题？
• RQ3 矩阵变换 $ S, T, U, V $ 及其逆矩阵如何与控制器的性能和稳定性相关联？
• RQ4 控制器的传递算子能否通过结构化矩阵实现精确参数化，以支持最优后悔最小化？
• RQ5 在何种条件下，所推导的控制器能实现相对于理想控制器的最小最坏情况性能损失？

主要发现

• 论文建立了控制器传递算子 $ \mathcal{T}_K $ 与结构化矩阵变换 $ \theta $ 和 $ \psi $ 之间的精确恒等式，实现了对后悔的精确表征。
• 通过使用矩阵的逆与平方根，将后悔最小化问题重述为凸优化问题，确保计算上的可处理性。
• 该框架保证最优控制器在模型不确定性下实现相对于理想控制器的最小可能最坏情况性能损失。
• 所推导的控制器结构天然满足测量反馈约束，确保仅使用可用测量进行反馈。
• 该方法通过求解涉及矩阵 $ S, T, U, V $ 及其逆矩阵的凸规划问题，系统性地计算最优控制器增益。
• 变换框架确保了数值稳定性与可扩展性，因其问题结构避免了非凸的双线性项。