[论文解读] Online Learning for Receding Horizon Control with Provable Regret Guarantees.

Deepan Muthirayan, Jianjun Yuan+2 more|arXiv (Cornell University)|Nov 30, 2021

Advanced Bandit Algorithms Research参考文献 49被引用 5

一句话总结

本文提出了两种在线后退时域控制（RHC）算法——确定性等价RHC（CE-RHC）和乐观RHC（O-RHC），用于控制具有时变代价函数的未知线性动态系统。在标准稳定性假设下，CE-RHC实现$\mathcal{O}(T^{2/3})$的动态遗憾；O-RHC将此保证扩展至仅真实系统满足稳定性的情况，但需额外计算开销。

ABSTRACT

We address the problem of learning to control an unknown linear dynamical system with time varying cost functions through the framework of online Receding Horizon Control (RHC). We consider the setting where the control algorithm does not know the true system model and has only access to a fixed-length (that does not grow with the control horizon) preview of the future cost functions. We characterize the performance of an algorithm using the metric of dynamic regret, which is defined as the difference between the cumulative cost incurred by the algorithm and that of the best sequence of actions in hindsight. We propose two different online RHC algorithms to address this problem, namely Certainty Equivalence RHC (CE-RHC) algorithm and Optimistic RHC (O-RHC) algorithm. We show that under the standard stability assumption for the model estimate, the CE-RHC algorithm achieves $\mathcal{O}(T^{2/3})$ dynamic regret. We then extend this result to the setting where the stability assumption hold only for the true system model by proposing the O-RHC algorithm. We show that O-RHC algorithm achieves $\mathcal{O}(T^{2/3})$ dynamic regret but with some additional computation.

研究动机与目标

• 解决未知线性动态系统在时变代价函数下的在线控制问题。
• 开发在缺乏完整系统模型知识条件下，可实现可证明动态遗憾保证的算法。
• 在有限未来代价预览（固定长度，不随时域增长）条件下运行。
• 将遗憾保证扩展至仅真实系统模型满足稳定性假设的情形。
• 在在线控制中平衡遗憾性能与计算开销。

提出的方法

• 在具有固定长度未来代价预览的在线后退时域控制（RHC）框架内建立控制问题。
• 设计使用估计系统模型和标准RHC优化的确定性等价RHC（CE-RHC）算法。
• 提出乐观RHC（O-RHC）算法以处理模型估计不稳定的情况，采用乐观更新策略。
• 采用动态遗憾作为性能度量，将累积代价与事后最优动作序列进行比较。
• 在估计模型满足稳定性假设（CE-RHC）和真实模型满足稳定性假设（O-RHC）的前提下推导遗憾界。
• 利用标准线性系统理论与在线学习技术，确保在模型不确定性下实现收敛与稳定性。

实验结果

研究问题

• RQ1 当系统模型未知且仅能获得固定长度的未来代价预览时，在线RHC能否实现可证明的动态遗憾保证？
• RQ2 在模型估计的标准稳定性假设下，在线RHC的最佳可实现动态遗憾是多少？
• RQ3 能否将遗憾保证扩展至模型估计不稳定但真实系统稳定的场景？
• RQ4 O-RHC中乐观更新带来的额外计算成本如何影响遗憾性能？
• RQ5 在时变系统中，在线RHC的遗憾性能与计算复杂度之间存在何种权衡？

主要发现

• 在模型估计的标准稳定性假设下，CE-RHC算法实现$\mathcal{O}(T^{2/3})$的动态遗憾。
• O-RHC算法在仅真实系统模型满足稳定性假设的更弱条件下，仍实现相同的$\mathcal{O}(T^{2/3})$动态遗憾界。
• 与CE-RHC相比，O-RHC算法为在更弱假设下维持遗憾保证，需要额外的计算开销。
• 所提出的算法在仅有限未来代价预览的场景中表现有效，其中预览长度不随控制时域增长。
• 结果表明，在具有模型不确定性的时变线性系统中，可实现在线RHC的可证明遗憾界。
• 该框架为在线控制提供了一种稳健方法，无需完整系统模型知识，也无需随时间增长的预览长度。