[论文解读] Non-stationary Online Learning with Memory and Non-stochastic Control

Peng Zhao, Yan, Yu-Hu+2 more|arXiv (Cornell University)|Feb 7, 2021

Advanced Bandit Algorithms Research参考文献 55被引用 13

一句话总结

本文提出了一种新型在线学习算法，用于带有记忆的在线凸优化（Online Convex Optimization with Memory），通过显式控制切换成本，实现了最优的动态策略遗憾（dynamic policy regret）。该方法首次为具有时变策略的非随机在线控制提供了可证明竞争力的控制器，在时间范围、非平稳性和记忆长度方面实现了次线性遗憾。

ABSTRACT

We study the problem of Online Convex Optimization (OCO) with memory, which allows loss functions to depend on past decisions and thus captures temporal effects of learning problems. In this paper, we introduce dynamic policy regret as the performance measure to design algorithms robust to non-stationary environments, which competes algorithms' decisions with a sequence of changing comparators. We propose a novel algorithm for OCO with memory that provably enjoys an optimal dynamic policy regret in terms of time horizon, non-stationarity measure, and memory length. The key technical challenge is how to control the switching cost, the cumulative movements of player's decisions, which is neatly addressed by a novel switching-cost-aware online ensemble approach equipped with a new meta-base decomposition of dynamic policy regret and a careful design of meta-learner and base-learner that explicitly regularizes the switching cost. The results are further applied to tackle non-stationarity in online non-stochastic control (Agarwal et al., 2019), i.e., controlling a linear dynamical system with adversarial disturbance and convex cost functions. We derive a novel gradient-based controller with dynamic policy regret guarantees, which is the first controller provably competitive to a sequence of changing policies for online non-stochastic control.

研究动机与目标

• 通过引入更具严格性的性能度量——动态策略遗憾，以解决静态策略遗憾在非平稳环境中应用的局限性。
• 设计一种适用于带有记忆的在线凸优化（OCO with Memory）的在线学习算法，实现在时变比较器下的最优遗憾界。
• 在依赖记忆的损失函数中，控制在线集成结构中的切换成本，这是动态遗憾最小化中的关键挑战。
• 将该框架扩展至在线非随机控制，提供首个具备动态策略遗憾保证的控制器。
• 在时间范围、非平稳性和记忆长度方面，为所提算法建立理论保证。

提出的方法

• 提出一种新的动态策略遗憾元-基分解方法，将遗憾分解为元学习器与基学习器两部分。
• 设计一种切换成本感知的在线集成结构，其中元学习器显式正则化决策的累积变动。
• 采用一种新颖的元学习器，通过精心设计的正则化方案平衡遗憾与切换成本。
• 使用一种基学习器，可在满足记忆约束的前提下适应局部损失函数，适用于带记忆的OCO。
• 通过推导基于梯度的控制器，将该框架应用于在线非随机控制，实现动态遗憾保证。
• 利用稳定性与扰动分析，确保在系统估计误差下的鲁棒性。

实验结果

研究问题

• RQ1 在带记忆的OCO中，是否能在控制在线集成结构中切换成本的同时最小化动态策略遗憾？
• RQ2 在非平稳、依赖记忆的在线学习中，遗憾与切换成本之间的最优权衡是什么？
• RQ3 所提算法是否能实现与时间范围、非平稳性和记忆长度最优相关的次线性动态策略遗憾？
• RQ4 是否能够设计出一种可证明竞争力的在线非随机控制控制器，使其能适应变化的策略？
• RQ5 在控制系统的模型估计误差下，所提方法如何保持稳定性和性能？

主要发现

• 所提算法实现了最优的动态策略遗憾界 $ O(\sqrt{T} + \sqrt{V_T} + \sqrt{m}) $，其中 $ T $ 为时间范围，$ V_T $ 为非平稳性度量，$ m $ 为记忆长度。
• 通过元学习器中的新颖正则化方法，显式控制了切换成本，防止了集成结构中动作的线性增长。
• 该算法是首个为在线非随机控制提供可证明动态策略遗憾保证的方法，其基于梯度的控制器可与时变策略竞争。
• 稳定性分析表明，控制器在有界系统估计误差下仍保持强稳定性，其衰减率为 $ \gamma - 2\kappa^3\varepsilon_{A,B} $。
• 在模型不确定性下，推导出系统状态与扰动误差的理论界，确保虚构系统中的有界性。
• 该方法在所有相关参数上均实现了次线性遗憾，表现出对非平稳环境和记忆效应的鲁棒性。