[论文解读] Online Learning: Beyond Regret

Alexander Rakhlin, Karthik Sridharan+1 more|arXiv (Cornell University)|Nov 14, 2010

Advanced Bandit Algorithms Research参考文献 28被引用 51

一句话总结

本文通过引入一个统一框架，将在线学习理论从外部遗憾扩展至更广泛的性能度量，涵盖内部遗憾、校准性、可逼近性及自适应遗憾等，其核心在于控制三个基本量：鞅收敛性、已知未来性能与序列 Rademacher 复杂度。主要贡献在于基于复杂度的可学习性表征，实现了多于两个结果的校准性 $O(T^{-1/2})$ 紧致收敛速率，并在无需算法构造的前提下，于巴拿赫空间中建立了几乎必然的 Hannan 一致性。

ABSTRACT

We study online learnability of a wide class of problems, extending the results of (Rakhlin, Sridharan, Tewari, 2010) to general notions of performance measure well beyond external regret. Our framework simultaneously captures such well-known notions as internal and general Phi-regret, learning with non-additive global cost functions, Blackwell's approachability, calibration of forecasters, adaptive regret, and more. We show that learnability in all these situations is due to control of the same three quantities: a martingale convergence term, a term describing the ability to perform well if future is known, and a generalization of sequential Rademacher complexity, studied in (Rakhlin, Sridharan, Tewari, 2010). Since we directly study complexity of the problem instead of focusing on efficient algorithms, we are able to improve and extend many known results which have been previously derived via an algorithmic construction.

研究动机与目标

• 将多样化的在线学习性能度量——如外部遗憾、内部遗憾、校准性与 Blackwell 可逼近性——统一于单一理论框架之下。
• 通过控制三个基本复杂度项（鞅收敛性、未来已知性能、序列 Rademacher 复杂度）而非算法构造来刻画可学习性。
• 恢复、扩展并改进在线学习中已知结果，尤其在以往算法方法不可行或次优的场景中。
• 在无需依赖特定算法设计的前提下，建立校准博弈与可逼近性在无限维巴拿赫空间中的几乎必然收敛性与 Hannan 一致性。

提出的方法

• 将在线学习形式化为通过收益变换映射衡量性能的重复博弈，将外部遗憾推广至广泛性能度量类别。
• 识别出决定可学习性的三个关键复杂度项：鞅收敛性、已知未来下的性能表现、序列 Rademacher 复杂度。
• 利用随机化（Rademacher 混合）与覆盖论证来有界函数类上的上确界，实现对非加性与光滑损失函数的泛化。
• 应用集中不等式（如 Hoeffding 型界）控制偏离概率，推导高概率遗憾界。
• 采用加倍技巧与指数矩控制（通过 $\mathbb{E}[\exp\{K\mathbf{R}_T^2\}]$）将高概率界转化为几乎必然收敛保证。
• 利用序列 Littlestone 维数有界策略类的复杂度，尤其在动作有限时。

实验结果

研究问题

• RQ1 在线学习中的可学习性是否可在包括内部遗憾、校准性与可逼近性在内的多样化性能度量下实现统一刻画？
• RQ2 在外部遗憾之外，确保可学习性的最小复杂度条件是什么？
• RQ3 能否为多于两个结果的校准性建立 $O(T^{-1/2})$ 收敛速率？
• RQ4 巴拿赫空间中的 Blackwell 可逼近性是否等价于鞅收敛性与单步可逼近性？
• RQ5 能否在不依赖显式算法构造的前提下实现几乎必然的 Hannan 一致性？

主要发现

• 本文建立了多于两个结果的校准预测的 $O(T^{-1/2})$ 遗憾界，优于 Mannor 与 Stoltz 的先前结果。
• 证明了在可分巴拿赫空间中，Blackwell 的可逼近性成立当且仅当鞅收敛性成立且满足单步可逼近条件。
• 该框架实现了遗憾的几乎必然收敛：$\limsup_{T\to\infty} \frac{\sqrt{T}}{\sqrt{3k\log(2T) + \frac{ck^4}{2}\log T}} \cdot \mathbf{R}_T \leq 60$ 几乎必然成立。
• 序列 Rademacher 复杂度被证明是控制所有考虑性能度量下可学习性的核心复杂度度量。
• 该方法恢复并改进了 Stoltz 与 Lugosi 关于 $\Phi$-遗憾的结果，尤其在收敛至 $\Phi$-相关均衡方面。
• 通过避免以算法为中心的推理，该框架使在算法构造尚未知或不可行的场景中实现可学习性证明成为可能。