[论文解读] Online Learning with Continuous Variations: Dynamic Regret and Reductions

Ching-An Cheng, Jonathan Lee+2 more|arXiv (Cornell University)|Feb 19, 2019

Advanced Bandit Algorithms Research参考文献 39被引用 7

一句话总结

本文提出连续在线学习（COL），一种新颖的在线学习框架，其中损失函数随学习者的决策连续变化，无需事先知晓变化预算即可实现次线性动态遗憾。该研究建立了次线性动态遗憾与求解变分不等式之间的根本等价关系，为自适应和随机设置下的新收敛保证提供了理论支持，并实现了向静态遗憾和均衡问题的归约。

ABSTRACT

Online learning is a powerful tool for analyzing iterative algorithms. However, the classic adversarial setup sometimes fails to capture certain regularity in online problems in practice. Motivated by this, we establish a new setup, called Continuous Online Learning (COL), where the gradient of online loss function changes continuously across rounds with respect to the learner's decisions. We show that COL covers and more appropriately describes many interesting applications, from general equilibrium problems (EPs) to optimization in episodic MDPs. In particular, we show monotone EPs admits a reduction to achieving sublinear static regret in COL. Using this new setup, we revisit the difficulty of sublinear dynamic regret. We prove a fundamental equivalence between achieving sublinear dynamic regret in COL and solving certain EPs. With this insight, we offer conditions for efficient algorithms that achieve sublinear dynamic regret, even when the losses are chosen adaptively without any a priori variation budget. Furthermore, we show for COL a reduction from dynamic regret to both static regret and convergence in the associated EP, allowing us to analyze the dynamic regret of many existing algorithms.

研究动机与目标

• 通过在损失函数中建模连续规律性，弥补在线学习中的空白，突破传统对抗性设置下对任意变化预算的依赖。
• 在经典界限可能失效或变得无意义的自适应和随机环境中，实现次线性动态遗憾。
• 建立动态遗憾最小化与求解变分不等式（VIs）之间的正式联系，特别是强单调变分不等式。
• 从动态遗憾到静态遗憾和关联均衡问题收敛性的归约，使现有算法的分析成为可能。
• 在现实随机反馈下，为在线模仿学习推导出非渐近收敛速率和次线性遗憾界。

提出的方法

• 将COL定义为一种在线学习设置，其中第n轮的损失由关于x'的双变量函数f_x(x')决定，且该函数在x上连续可微，确保损失随决策平滑变化。
• 引入(α,β)-正则性概念，以刻画底层变分不等式的强单调性和光滑性，从而实现收敛性保证。
• 利用从动态遗憾到静态遗憾和VI收敛性的归约，使现有算法的分析可通过已知的静态遗憾界实现。
• 采用镜像下降（等价于在线梯度下降），并使用特定步长规则η = (α−β)/(γ+β)²，在确定性反馈下实现对最优策略的线性收敛。
• 通过将梯度估计建模为真实梯度的有界二阶矩噪声观测，将结果扩展到随机反馈情形。
• 利用归约框架，在随机反馈下以步长η_n = 1/√n推导出期望动态遗憾的O(√N)上界。

实验结果

研究问题

• RQ1 在缺乏损失变化知识的前提下，能否在自适应在线学习设置中实现次线性动态遗憾？
• RQ2 损失函数的何种结构条件可使连续在线学习中实现次线性动态遗憾？
• RQ3 COL中的动态遗憾与变分不等式（VI）的解之间有何关系？
• RQ4 能否在COL中正式建立从动态遗憾到静态遗憾和VI收敛性的归约？
• RQ5 在COL框架下，基于随机反馈的在线模仿学习可推导出何种非渐近收敛速率和遗憾界？

主要发现

• COL中的次线性动态遗憾在本质上等价于求解一个变分不等式（VI），尤其是在VI为强单调时。
• 当α > β时，存在唯一策略̂π，其在自身分布上是最优的，从而确保了在线模仿学习问题的适定性。
• 在确定性反馈下，使用步长η = (α−β)/(γ+β)²时，在线梯度下降算法可实现对̂π的线性收敛及次线性动态遗憾（实际上为O(1)）。
• 在随机反馈下，使用步长η_n = 1/√n时，期望动态遗憾被限制在O(√N)内，优于以往的渐近收敛结果。
• 所提出的框架通过仅要求α > β，优于以往工作所需的更强条件α/γ > 2β/α，从而改进了在线模仿学习的现有条件。
• 归约框架使现有算法的直接分析成为可能，通过将动态遗憾与静态遗憾和VI收敛性关联，增强了方法的广泛适用性。