[论文解读] Online Learning for Changing Environments using Coin Betting

Kwang-Sung Jun, Francesco Orabona+2 more|arXiv (Cornell University)|Nov 6, 2017

Advanced Bandit Algorithms Research参考文献 4被引用 3

一句话总结

该论文提出了一种新颖的元算法——变化环境下的硬币投注法（CBCE），实现了强自适应遗憾界 $\sqrt{(I_2 - I_1)\log(I_2)}$，相较于具有相同时间复杂度的先前方法，其性能提升了 $\sqrt{\log T}$。该方法利用一种无参数的硬币投注问题约化方法来处理睡眠专家问题，从而实现了首阶强自适应遗憾界，并在专家建议与度量学习任务中均优于当前最先进方法。

ABSTRACT

A key challenge in online learning is that classical algorithms can be slow to adapt to changing environments. Recent studies have proposed "meta" algorithms that convert any online learning algorithm to one that is adaptive to changing environments, where the adaptivity is analyzed in a quantity called the strongly-adaptive regret. This paper describes a new meta algorithm that has a strongly-adaptive regret bound that is a factor of $\sqrt{\log(T)}$ better than other algorithms with the same time complexity, where $T$ is the time horizon. We also extend our algorithm to achieve a first-order (i.e., dependent on the observed losses) strongly-adaptive regret bound for the first time, to our knowledge. At its heart is a new parameter-free algorithm for the learning with expert advice (LEA) problem in which experts sometimes do not output advice for consecutive time steps (i.e., \emph{sleeping} experts). This algorithm is derived by a reduction from optimal algorithms for the so-called coin betting problem. Empirical results show that our algorithm outperforms state-of-the-art methods in both learning with expert advice and metric learning scenarios.

研究动机与目标

• 解决非平稳环境中在线学习面临的适应速度慢的问题。
• 设计一种元算法，使其强自适应遗憾界优于现有方法。
• 将框架扩展至支持首阶遗憾界，该遗憾界依赖于观测到的损失而非时间范围。
• 通过约化至硬币投注问题，为睡眠专家问题提供无参数解法。
• 在专家建议与度量学习场景中，通过实证验证其优越性能。

提出的方法

• 核心方法是将带有睡眠专家的专家建议学习（LEA）问题约化为硬币投注问题，从而实现无参数优化。
• 算法使用几何覆盖（GC）或数据流（DS）区间分解来管理时间区间，并在所有子区间上控制遗憾。
• 应用一种新颖的遗憾分解技术，利用区间重叠结构与累积损失追踪，推导出强自适应遗憾界。
• 该方法结合了源自最优硬币投注策略的无参数更新规则，可动态适应损失模式而无需调参。
• 该算法的时间复杂度因子为 $\log T$，与目前已知的最佳元算法一致，同时通过 $\sqrt{\log T}$ 因子改进了遗憾界。
• 理论分析证明，SA-Regret 被有界于 $O\left(\sqrt{(I_2 - I_1)\log(I_2)}\right)$，优于先前的 $O\left(\sqrt{(I_2 - I_1)\log^2(I_2)}\right)$ 边界。

实验结果

研究问题

• RQ1 能否设计一种元算法，使其强自适应遗憾界相比现有方法在相同时间复杂度下提升 $\sqrt{\log T}$？
• RQ2 能否推导出一种首阶强自适应遗憾界，使其依赖于观测到的损失而非时间范围 $T$？
• RQ3 能否通过约化至硬币投注问题，构建一种无参数的睡眠专家算法？
• RQ4 在动态环境中，与当前最先进方法相比，所提算法在实际表现如何？
• RQ5 使用几何覆盖与数据流区间分解的理论与实际影响分别是什么？

主要发现

• 所提出的CBCE算法实现了强自适应遗憾界 $O\left(\sqrt{(I_2 - I_1)\log(I_2)}\right)$，相较于具有相同时间复杂度的先前方法，性能提升了 $\sqrt{\log T}$。
• 该算法是首个实现首阶强自适应遗憾界的算法，其遗憾界依赖于观测到的损失而非时间范围 $T$。
• 实证结果表明，CBCE在变化环境中于专家建议与度量学习任务中均优于当前最先进方法。
• 从睡眠专家问题到硬币投注问题的约化，使得无参数算法能够实现无需调参的自适应。
• 理论分析确认，该算法在几何覆盖与数据流区间分解下均保持强遗憾保证，仅存在微小常数因子差异。
• 该方法对具有任意时间遗憾边界的黑箱算法具有鲁棒性，且可通过加倍技巧适配至固定预算算法。