[论文解读] Temporal Variability in Implicit Online Learning

Nicolò Campolongo, Francesco Orabona|arXiv (Cornell University)|Jun 12, 2020

Advanced Bandit Algorithms Research参考文献 35被引用 4

一句话总结

本文提出了一种隐式在线学习算法的新型遗憾分析，表明当损失函数随时间缓慢变化时，其性能可显著提升。该文提出 AdaImplicit，一种自适应算法，其遗憾界为 $ olimits\mathcal{O}(V_T + 1)$，其中 $V_T$ 衡量时间上的可变性，且无需平滑性假设或对 $V_T$ 的先验知识，同时通过匹配的下界证明该遗憾界为最优，并在真实世界数据集上进行了实证验证。

ABSTRACT

In the setting of online learning, Implicit algorithms turn out to be highly successful from a practical standpoint. However, the tightest regret analyses only show marginal improvements over Online Mirror Descent. In this work, we shed light on this behavior carrying out a careful regret analysis. We prove a novel static regret bound that depends on the temporal variability of the sequence of loss functions, a quantity which is often encountered when considering dynamic competitors. We show, for example, that the regret can be constant if the temporal variability is constant and the learning rate is tuned appropriately, without the need of smooth losses. Moreover, we present an adaptive algorithm that achieves this regret bound without prior knowledge of the temporal variability and prove a matching lower bound. Finally, we validate our theoretical findings on classification and regression datasets.

研究动机与目标

• 为了理解为何隐式在线学习算法在实践中优于基于梯度的方法，尽管其理论收益有限。
• 为了分析时间可变性 $V_T$ 在塑造隐式算法遗憾界中的作用。
• 为了设计一种自适应算法，实现在无需 $V_T$ 先验知识情况下的最优遗憾。
• 为了在真实世界的分类与回归任务中验证理论发现。

提出的方法

• 作者在在线镜像下降（OMD）框架内对隐式算法进行了精细化的遗憾分析。
• 他们提出了一种新的静态遗憾界，其显式依赖于时间可变性 $V_T = \sum_{t=2}^T \max_{\mathbf{x} \in V} \ell_t(\mathbf{x}) - \ell_{t-1}(\mathbf{x})$。
• 他们提出了 AdaImplicit，一种自适应算法，通过根据观测到的损失变化动态调整学习率，以实现 $ olimits\mathcal{O}(V_T + 1)$ 的遗憾。
• 该算法使用基于 Bregman 散度的隐式更新推导出的闭式更新规则，确保计算效率。
• 他们证明了一个匹配的下界，表明 $ olimits\mathcal{O}(V_T + 1)$ 遗憾在最坏情况下是最优的。
• 在 LIBSVM 数据集上通过合页损失和绝对损失函数，对累积损失进行了算法间的实证比较。

实验结果

研究问题

• RQ1 隐式在线学习算法的实际成功能否通过损失函数的时间可变性从理论上加以解释？
• RQ2 隐式算法的遗憾是否随 $V_T$（损失序列的时间可变性）而增长，而非仅随 $\sqrt{T}$ 增长？
• RQ3 能否设计一种自适应算法，在无需 $V_T$ 先验知识的情况下实现 $ olimits\mathcal{O}(V_T + 1)$ 的遗憾？
• RQ4 $ olimits\mathcal{O}(V_T + 1)$ 遗憾界是否最优，且能否通过下界实现匹配？
• RQ5 AdaImplicit 在真实世界在线学习任务中与 OGD 和 IOMD 相比，在鲁棒性和性能方面表现如何？

主要发现

• 本文为隐式在线学习建立了一种新的静态遗憾界，其显式依赖于损失序列的时间可变性 $V_T$。
• 当 $V_T$ 为常数且学习率被适当调整时，即使损失函数不平滑，遗憾仍可被有界于常数。
• AdaImplicit 在无需 $V_T$ 先验知识的情况下实现了 $ olimits\mathcal{O}(V_T + 1)$ 的遗憾界，使其能够自适应数据的内在可变性。
• 作者证明了一个匹配的下界，确认 $ olimits\mathcal{O}(V_T + 1)$ 遗憾界在最坏情况下是最优的。
• 在真实世界数据集上的实证结果表明，AdaImplicit 保持了较低的累积损失，且在超参数选择上比 OGD 和 IOMD 更具鲁棒性。
• 隐式算法在在线设置中表现出更优的鲁棒性，尤其是在学习率误设时，这得益于其固有的稳定性。