[论文解读] The Power of Predictions in Online Control

Chenkai Yu, Guanya Shi+3 more|arXiv (Cornell University)|Jun 13, 2020

Advanced Bandit Algorithms Research参考文献 30被引用 9

一句话总结

本文研究了在随机与对抗性扰动下，具有预测能力的在线线性二次调节器（LQR）控制。结果表明，仅使用 O(log T) 个预测的模型预测控制（MPC）即可实现 O(1) 的动态遗憾，与理论下界一致，证明了在两种设定下，简单的贪心预测策略近乎最优。

ABSTRACT

We study the impact of predictions in online Linear Quadratic Regulator control with both stochastic and adversarial disturbances in the dynamics. In both settings, we characterize the optimal policy and derive tight bounds on the minimum cost and dynamic regret. Perhaps surprisingly, our analysis shows that the conventional greedy MPC approach is a near-optimal policy in both stochastic and adversarial settings. Specifically, for length-$T$ problems, MPC requires only $O(\log T)$ predictions to reach $O(1)$ dynamic regret, which matches (up to lower-order terms) our lower bound on the required prediction horizon for constant regret.

研究动机与目标

• 刻画在随机与对抗性扰动下，具有 k 个预测的在线 LQR 控制的最优策略与最小代价。
• 确定每个额外预测的边际收益，以及实现近似最优性能所需的预测数量。
• 评估广泛使用的模型预测控制（MPC）策略相对于最优策略在代价与遗憾方面的性能。
• 在预测约束条件下，建立最优代价与最小动态遗憾的紧致上下界。

提出的方法

• 推导了在随机与对抗性设定下，具有 k 个预测的 LQR 的代价最优与动态遗憾最小化策略。
• 利用谱分析与矩阵范数界，刻画最优策略与 MPC 的性能。
• 将 MPC 视为一种贪心策略，通过 k 个预测求解有限时域优化问题。
• 利用矩阵衰减率与谱半径性质，建立 MPC 与最优策略的遗憾上界。
• 通过竞争比与遗憾分析，比较 MPC 性能与离线最优策略及遗憾最小化策略。
• 证明了实现常数遗憾所需预测时域的紧致下界，表明 O(log T) 渐近最优。

实验结果

研究问题

• RQ1 在随机与对抗性扰动下，具有 k 个预测的在线 LQR 控制的最优策略是什么？
• RQ2 需要多少个预测才能实现常数遗憾？每个预测的边际收益如何衰减？
• RQ3 在随机与对抗性设定下，MPC 相对于代价最优与遗憾最小化策略的性能如何？
• RQ4 MPC 是否能以次线性数量的预测实现有界遗憾？该数量是否最优？
• RQ5 在在线 LQR 控制中，预测时域与动态遗憾之间存在何种根本权衡？

主要发现

• 在随机与对抗性 LQR 设定下，MPC 使用 O(log T) 个预测可实现 O(1) 的动态遗憾，与下界仅相差低阶项。
• 额外预测的边际收益随 k 呈指数衰减，表明在对数时域后收益递减。
• 为实现常数遗憾而最小化动态遗憾的最优策略需要 Ω(log T) 的预测时域，表明 O(log T) 渐近紧致。
• 在随机与对抗性设定下，MPC 相对于代价最优策略具有有界性能比，证实其鲁棒性。
• 理论界近乎紧致，因为存在系统使得上界可逼近至低阶项。
• 结果表明，即使在对抗性扰动下，简单的贪心 MPC 也近乎最优，凸显了预测在降低算法复杂性方面的强大作用。