[论文解读] Strongly Adaptive Online Learning

Amit Daniely, Alon Gonen+1 more|arXiv (Cornell University)|Feb 25, 2015

Advanced Bandit Algorithms Research参考文献 13被引用 9

一句话总结

本文提出了一种通用的归约方法，可将任意标准在线学习算法（其遗憾值较低）转化为强自适应算法，确保在每个时间区间内均实现近似最优性能。该方法在任意区间上的遗憾值仅比原始算法的遗憾值多一个对数因子，从而实现了对变化环境的高效适应，适用于专家建议和在线凸优化等问题。

ABSTRACT

Strongly adaptive algorithms are algorithms whose performance on every time interval is close to optimal. We present a reduction that can transform standard low-regret algorithms to strongly adaptive. As a consequence, we derive simple, yet efficient, strongly adaptive algorithms for a handful of problems.

研究动机与目标

• 解决设计在线学习算法以快速适应随时间变化环境的挑战，其中最优策略随时间而改变。
• 克服标准遗憾分析的局限性，后者仅在全时间跨度内与单一固定策略进行性能比较。
• 提出一个通用框架，保证强自适应性——即在每个时间区间内性能接近最优，且无需事先知晓变化点。
• 建立理论边界，表明强自适应性可适用于广泛的在线学习问题类别。
• 证明强自适应性涵盖了并优于较弱的自适应性概念，如追踪遗憾和[8]中定义的自适应遗憾。

提出的方法

• 提出一种元算法，将黑箱在线学习算法作为子程序，以构建强自适应学习者。
• 在每一轮中，维护一组候选策略，并使用类似加权多数的更新机制，基于各策略在各区间上的历史表现选择动作。
• 应用对数时间聚合方案，确保每轮的运行时间仅为基线算法的 O(log t) 倍。
• 利用递归区间分解方法，确保在整个时间范围的所有子区间上维持性能保证。
• 利用基线算法的遗憾界 R(T)，推导出强自适应版本在任意长度为 τ 的区间 I 上的遗憾界约为 R(τ)。
• 将强自适应性正式定义为：要求在每个区间 I 上的遗憾被一个接近 R(|I|) 的函数所界定，且与总时间跨度 T 无关。

实验结果

研究问题

• RQ1 能否系统性地将标准在线学习算法转化为在每个时间区间上表现良好的强自适应算法？
• RQ2 在实现强自适应性时，计算成本和遗憾界方面的最小开销是多少？
• RQ3 与文献中已有的概念（如追踪遗憾和自适应遗憾）相比，强自适应性有何不同？
• RQ4 在仅观察到损失值的 bandit 反馈下，是否也能实现强自适应性？
• RQ5 在部分反馈的在线学习中，实现强自适应性的根本限制是什么？

主要发现

• 所提出的归约方法可将任意标准在线学习算法（遗憾为 R(T)）转化为强自适应算法，其在任意长度为 τ 的区间 I 上的遗憾最多为 O(R(τ) + log T)，从而在每个区间上实现近似最优性能。
• 所得到的强自适应算法每轮的运行时间仅为基线算法的 O(log t) 倍，因此具有高效性。
• 强自适应性涵盖了并优于先前的概念：强自适应算法同时也是[8]中定义的自适应算法，并实现了[9]中定义的近似最优追踪遗憾。
• 对于在线凸优化和专家建议问题，该归约方法可产生高效且强自适应的算法，且遗憾界紧密。
• 在 bandit 反馈下无法实现强自适应性：本文证明，任何算法的强自适应遗憾均无法优于 O(τ^{1−ε} poly(log T))（对任意 ε > 0）。
• 通过反证法建立了下界：若某算法具有此类遗憾界，则必然过于频繁地采样次优动作，从而违反整体遗憾约束。