[论文解读] Prediction without loss in multi-armed bandit problems

Michael Kapralov, Rina Panigrahy‎|arXiv (Cornell University)|Aug 22, 2010

Advanced Bandit Algorithms Research参考文献 22被引用 1

一句话总结

该论文提出了一种多臂赌博机算法，在任意输入序列上实现近乎零的期望损失，同时将后悔值保持在长度为 $T$ 的序列的 $14\epsilon T$ 以内。通过利用一种新颖的损失-后悔权衡机制，该算法确保了与完美预测的最小偏差，并在 $N$-专家设置下实现最优性能，相较于 Even-Dar 等人（COLT'07）的先前工作有所改进。

ABSTRACT

Consider a sequence of bits where we are trying to predict the next bit from the previous bits. Assume we are allowed to say 'predict 0' or 'predict 1', and our payoff is +1 if the prediction is correct and -1 otherwise. We will say that at each point in time the loss of an algorithm is the number of wrong predictions minus the number of right predictions so far. In this paper we are interested in algorithms that have essentially zero (expected) loss over any string at any point in time and yet have small regret with respect to always predicting 0 or always predicting 1. For a sequence of length $T$ our algorithm has regret $14\epsilon T $ and loss $2\sqrt{T}e^{-\epsilon^2 T} $ in expectation for all strings. We show that the tradeoff between loss and regret is optimal up to constant factors. Our techniques extend to the general setting of $N$ experts, where the related problem of trading off regret to the best expert for regret to the `special' expert has been studied by Even-Dar et al. (COLT'07). We obtain essentially zero loss with respect to the special expert and optimal loss/regret tradeoff, improving upon the results of Even-Dar et al and settling the main question left open in their paper. The strong loss bounds of the algorithm have some surprising consequences. A simple iterative application of our algorithm gives essentially optimal regret bounds at multiple time scales, bounds with respect to $k$-shifting optima as well as regret bounds with respect to higher norms of the input sequence.

研究动机与目标

• 设计一种预测算法，使在任意比特序列上实现几乎为零的期望损失，同时保持较低的后悔值。
• 解决 Even-Dar 等人（COLT'07）留下的开放问题：在相对于最优专家与特定专家的后悔之间进行权衡。
• 在 $N$-专家设置下实现损失与后悔的最优权衡，优于现有边界。
• 实现强损失保证，从而产生出人意料的后果，如多尺度后悔与 $k$-移动最优边界。
• 为迭代应用提供基础，实现在多个时间尺度和输入序列范数下的最优后悔。

提出的方法

• 该算法采用经过精心校准的预测策略，平衡预测准确度与损失最小化，确保期望损失随 $T$ 指数衰减为 $2\sqrt{T}e^{-\epsilon^2 T}$。
• 采用损失正则化的更新规则，对偏离正确预测的行为施加惩罚，同时跟踪相对于始终预测 0 或 1 的累积后悔。
• 通过将一位专家视为“特殊”参考对象，将方法扩展至 $N$ 位专家，以最小化相对于该专家的损失，同时保持低后悔。
• 关键技术组件是使用带有损失感知调整的指数加权，使算法能够自适应地响应序列模式。
• 该算法的结构支持迭代应用，可递归地在多个时间尺度和输入范数上提升性能。
• 理论分析依赖于集中不等式与鞅论证，以在期望下同时界定损失与后悔。

实验结果

研究问题

• RQ1 能否设计一种算法，在任意比特序列上实现近乎零的期望损失，同时保持次线性后悔？
• RQ2 在具有专家建议的多臂赌博机问题中，损失与后悔之间的最优权衡是什么？
• RQ3 如何在不牺牲后悔性能的前提下，最小化相对于特定专家的损失？
• RQ4 强损失边界对多尺度与 $k$-移动后悔设置有何影响？
• RQ5 该算法的迭代应用能否在多种时间尺度和输入序列范数下实现最优后悔？

主要发现

• 对于任意长度为 $T$ 的输入序列，该算法的期望损失为 $2\sqrt{T}e^{-\epsilon^2 T}$，随 $T$ 指数衰减。
• 后悔的期望值被限制在 $14\epsilon T$ 以内，该结果在给定损失范式下为最优（仅差常数因子）。
• 损失-后悔权衡被证明在常数因子内最优，解决了关键的理论问题。
• 该方法相较于 Even-Dar 等人（COLT'07）的工作，实现了相对于特殊专家的几乎零损失，同时保持了最优后悔。
• 该算法的迭代应用在多个时间尺度上实现了最优后悔边界，包括相对于 $k$-移动最优解。
• 强损失边界使得对输入序列更高阶范数的新型后悔保证成为可能，展示了其广泛适用性。