[论文解读] Prediction strategies without loss

Michael Kapralov, Rina Panigrahy‎|arXiv (Cornell University)|Aug 22, 2010

Advanced Bandit Algorithms Research参考文献 13被引用 12

一句话总结

本文提出了一种新颖的预测算法，实现了近乎零的期望损失——在序列长度上呈指数级减小——同时相对于始终预测 0 或 1 的策略保持最优的遗憾边界。通过利用基于树的比较框架和自适应置信度加权，该方法确保了次常数损失和 $O(\sqrt{T \log T})$ 的遗憾，相较于先前在专家预测和在线优化中的工作，实现了损失与遗憾之间更优的权衡。

ABSTRACT

Consider a sequence of bits where we are trying to predict the next bit from the previous bits. Assume we are allowed to say 'predict 0' or 'predict 1', and our payoff is +1 if the prediction is correct and -1 otherwise. We will say that at each point in time the loss of an algorithm is the number of wrong predictions minus the number of right predictions so far. In this paper we are interested in algorithms that have essentially zero (expected) loss over any string at any point in time and yet have small regret with respect to always predicting 0 or always predicting 1. For a sequence of length $T$ our algorithm has regret $14εT $ and loss $2\sqrt{T}e^{-ε^2 T} $ in expectation for all strings. We show that the tradeoff between loss and regret is optimal up to constant factors. Our techniques extend to the general setting of $N$ experts, where the related problem of trading off regret to the best expert for regret to the `special' expert has been studied by Even-Dar et al. (COLT'07). We obtain essentially zero loss with respect to the special expert and optimal loss/regret tradeoff, improving upon the results of Even-Dar et al and settling the main question left open in their paper. The strong loss bounds of the algorithm have some surprising consequences. A simple iterative application of our algorithm gives essentially optimal regret bounds at multiple time scales, bounds with respect to $k$-shifting optima as well as regret bounds with respect to higher norms of the input sequence.

研究动机与目标

• 设计一种预测策略，使得在任意比特序列上其期望损失几乎为零，同时相对于最佳固定预测（0 或 1）保持较低的遗憾。
• 解决 Even-Dar 等人（2007）留下的开放问题：在专家建议框架中，次常数损失与最优遗憾是否可以共存。
• 将损失/遗憾权衡扩展至一般 N 专家设置，实现相对于均匀先验的近零损失，以及相对于最佳专家的最优遗憾。
• 证明所提出的算法可在多个时间尺度上实现最优遗憾，并针对 k-移动最优解实现该目标。
• 证明该框架在在线凸优化中可提供强性能保证，包括与所有路径长度竞争的动态遗憾边界。

提出的方法

• 该算法使用基于树的比较结构，同时评估多种具有不同置信度水平的预测策略，从而实现基于历史表现的自适应加权。
• 采用随机置信度机制，其中预测以置信度 $ c \in [0,1] $ 进行，算法通过随时间精心调节的置信度衰减来平衡探索与利用。
• 该方法通过分层树结构递归聚合专家，每一层对应不同的学习率和置信度阈值，从而实现多尺度遗憾控制。
• 核心分析依赖于使用集中不等式和鞅论证来界定期望损失，特别是利用 $ \mathbb{E}[\hat{x}_i(t)] = x_i(t) $ 来控制偏差。
• 遗憾通过所有时间区间和置信度水平的并集界推导得出，最终边界依赖于 $ \sqrt{T \log(1/Z)} $，其中 $ Z $ 为小的失败概率。
• 对于在线凸优化的扩展，该算法结合了多个不同学习率 $ \eta_j = 2^{-j} $ 的梯度下降实例，并使用路径长度感知选择机制，以实现动态遗憾边界。

实验结果

研究问题

• RQ1 能否设计一种预测算法，在相对于最佳固定预测（0 或 1）的遗憾保持 $ O(\sqrt{T \log T}) $ 的同时，实现次常数期望损失？
• RQ2 在 N 专家设置中，是否可能实现相对于专家均匀分布的近零损失，同时保持相对于最佳专家的最优遗憾？
• RQ3 在线学习中，损失与遗憾之间的最优权衡是什么？是否可以实现指数级小的损失？
• RQ4 该框架能否扩展以支持多时间尺度的遗憾边界以及对 k-移动最优解的控制？
• RQ5 该算法能否在在线凸优化中实现与所有可能路径长度竞争的动态遗憾边界？

主要发现

• 对于任意 $ \epsilon > 1/\sqrt{T} $，该算法的期望遗憾不超过 $ 14\epsilon T $，期望损失不超过 $ 2\sqrt{T} e^{-\epsilon^2 T} $，确保了指数级小的损失。
• 损失/遗憾权衡在常数因子范围内是最优的，解决了 Even-Dar 等人（2007）提出的开放问题：常数损失与 $ O(\sqrt{T \log T}) $ 遗憾是否可同时实现。
• 在一般 N 专家设置中，该算法相对于最佳专家实现了 $ O(\sqrt{T(\log N + \log T)}) $ 的遗憾，相对于平均专家实现了 $ O((NT)^{-\Omega(1)}) $ 的损失。
• 该框架可在多个时间尺度上实现最优遗憾边界，任意大小为 $ n = \Omega(\log T) $ 的窗口内累积偏差被限制在 $ O(\sqrt{n \log T}) $ 以内。
• 在在线凸优化中，该算法实现了 $ O(N^{1/3} T^{2/3} (\log(1/Z))^{1/3}) $ 的动态遗憾，其在对数因子范围内是最优的。
• 该方法还为 $ k $-移动最优解提供了改进的边界，遗憾规模为 $ O(\sqrt{T \log T}) $，与已知下界一致。