[论文解读] Online Learning via Sequential Complexities

Alexander Rakhlin, Karthik Sridharan+1 more|arXiv (Cornell University)|Jun 6, 2010

Advanced Bandit Algorithms Research参考文献 54被引用 4

一句话总结

本文引入了序列复杂度——经典统计学习度量（如Rademacher复杂度和覆盖数）在在线学习中的扩展——用于在极小化极大框架下分析在线学习。它建立了在线可学习性的必要和充分条件，并利用这些复杂度推导出紧致的遗憾界，表明当控制序列复杂度时，可实现次线性遗憾，而无需显式构造算法。

ABSTRACT

We consider the problem of sequential prediction and provide tools to study the minimax value of the associated game. Classical statistical learning theory provides several useful complexity measures to study learning with i.i.d. data. Our proposed sequential complexities can be seen as extensions of these measures to the sequential setting. The developed theory is shown to yield precise learning guarantees for the problem of sequential prediction. In particular, we show necessary and sufficient conditions for online learnability in the setting of supervised learning. Several examples show the utility of our framework: we can establish learnability without having to exhibit an explicit online learning algorithm.

研究动机与目标

• 通过将经典统计学习复杂度度量扩展到序列设置，开发一种非构造性框架以分析在线学习。
• 通过学习者与对手之间重复两玩家博弈的极小化极大值分析，刻画在线可学习性。
• 定义并分析序列预测中Rademacher复杂度、覆盖数和胖-破碎维度的序列类比。
• 推导在线监督学习中遗憾次线性增长的必要和充分条件。
• 证明可学习性可不依赖显式在线算法构造而确立，仅依赖复杂度度量。

提出的方法

• 将在线学习博弈的极小化极大值定义为：对所有学习者策略取下确界，对所有对手策略取上确界，即期望累积损失减去最优固定决策的损失。
• 引入序列Rademacher复杂度作为关键工具以有界极小化极大值，将该概念从i.i.d.设置扩展到序列预测。
• 提出序列覆盖数和胖-破碎维度作为捕捉序列决策中函数类丰富度的复杂度度量。
• 建立序列复杂度度量之间的关系，包括函数复合下的覆盖数有界性。
• 利用极小化极大定理将极小化极大值与序列Rademacher复杂度关联，从而通过复杂度控制实现遗憾分析。
• 将该框架应用于具体例子，如欧几里得球上满足 $\|w\|_2 \leq 1$ 的线性预测器，推导出 $\mathcal{O}(\sqrt{T}\log^{3/2}(T))$ 阶的显式遗憾界。

实验结果

研究问题

• RQ1 经典统计学习复杂度度量（如Rademacher复杂度和覆盖数）的序列类比是什么？
• RQ2 在何种条件下，序列预测问题是在线可学习的，即遗憾在 $T$ 上次线性增长？
• RQ3 是否可以在不构造显式学习算法的情况下刻画在线可学习性？
• RQ4 序列复杂度度量之间如何相互关联？它们在函数复合下行为如何？
• RQ5 在给定函数类的序列复杂度下，监督学习在在线设置中的最紧可能遗憾界是什么？

主要发现

• 本文证明，当且仅当序列Rademacher复杂度次线性增长时，可实现次线性遗憾，为在线可学习性提供了必要和充分条件。
• 对于欧几里得球上满足 $\|w\|_2 \leq 1$ 的线性预测器类，序列Rademacher复杂度有界于 $1/\sqrt{T}$，从而导出遗憾界 $\mathcal{O}(\sqrt{T}\log^{3/2}(T))$。
• 线性类的覆盖数 $\mathcal{N}_\infty(\alpha, \mathcal{F}, T)$ 在 $\alpha > 4\sqrt{2}/\sqrt{T}$ 时有界于 $(2eT/\alpha)^{32/\alpha^2}$，且与输入维度无关。
• 1-Lipschitz 函数类 $\mathcal{G}$ 与函数类 $\mathcal{F}$ 的复合满足 $\mathcal{N}_\infty(2\alpha, \mathcal{G} \circ \mathcal{F}, T) \leq \widehat{\mathcal{N}}_\infty(\alpha, \mathcal{G}) \times \mathcal{N}_\infty(\alpha, \mathcal{F}, T)$，从而实现复杂度传播。
• 博弈的极小化极大值有界于 $8T$ 倍的复合函数类的序列Rademacher复杂度，通过复杂度控制可导出显式遗憾界。
• 指数加权平均（EWA）算法在 $\eta = T^{-1/2}$ 时，对任意专家 $i$，其期望遗憾满足 $\sum_{t=1}^T \mathbb{E}[f_t(x_t)] \leq \sum_{t=1}^T f^t_i(x_t) + \frac{\sqrt{T}}{8} + \sqrt{T} \log(1/p_i)$，展示了该框架在算法设计中的实用性。