[论文解读] Prediction by Random-Walk Perturbation

Luc Devroye, Gábor Lugosi+1 more|arXiv (Cornell University)|Feb 23, 2013

Advanced Bandit Algorithms Research参考文献 27被引用 22

一句话总结

该论文提出了一种新颖的在线预测算法，通过使用独立对称的随机游走对累积损失进行扰动，实现了最优的 $O(\sqrt{n\log N})$ 期望遗憾，同时显著减少了预测切换次数——期望切换次数仅为 $O\big(\sqrt{n\log N}\big)$。该方法在不牺牲遗憾性能的前提下，确保了低切换成本，即使在组合优化设置下亦成立。

ABSTRACT

We propose a version of the follow-the-perturbed-leader online prediction algorithm in which the cumulative losses are perturbed by independent symmetric random walks. The forecaster is shown to achieve an expected regret of the optimal order O(sqrt(n log N)) where n is the time horizon and N is the number of experts. More importantly, it is shown that the forecaster changes its prediction at most O(sqrt(n log N)) times, in expectation. We also extend the analysis to online combinatorial optimization and show that even in this more general setting, the forecaster rarely switches between experts while having a regret of near-optimal order.

研究动机与目标

• 设计一种在线预测算法，在保持最优遗憾的同时，大幅减少预测切换次数。
• 分析在跟随扰动领导者框架下，遗憾与切换成本之间的权衡。
• 将分析扩展至在线组合优化，其中在不同动作之间的切换成本较高。
• 证明对称随机游走扰动可实现近似最优的遗憾，同时保持较低的切换频率。
• 在一般损失分配下，提供关于期望切换次数与遗憾的理论保证。

提出的方法

• 该算法通过随时间独立对称的随机游走对每位专家的累积损失进行扰动。
• 在每个时间步，预测者选择扰动后累积损失最小的动作。
• 扰动从对称稳定分布中抽取，以确保鲁棒性与集中性。
• 分析利用条件高斯分布与尾部概率界，控制多个动作同时最优的概率。
• 通过多变量高斯分布的性质与协方差结构，推导出关键不等式。
• 基于动作之间的 $\ell_1$-距离，采用阈值技术以限制切换事件。

实验结果

研究问题

• RQ1 随机游走扰动是否能在在线学习中实现最优遗憾，同时最小化预测切换次数？
• RQ2 在对称随机游走扰动下，跟随扰动领导者框架中的期望切换次数是多少？
• RQ3 切换行为如何随时间范围 $n$ 与专家数量 $N$ 变化？
• RQ4 该方法能否扩展至具有结构化动作集的组合优化？
• RQ5 使用与轮次无关的扰动（即跨轮次保持不变）是否仍能实现良好的遗憾与切换性能？

主要发现

• 所提出的算法实现了 $O(\sqrt{n\log N})$ 的期望遗憾，与在线预测的最优阶数一致。
• 期望切换次数被限制在 $O(\sqrt{n\log N})$ 以内，显著低于标准 FPL 变体。
• 该方法在具有结构化动作集的在线组合优化设置下，仍能保持近似最优的遗憾。
• 分析表明，通过高斯尾部概率界与条件分布，可有效控制多个动作同时最优的概率。
• 由于随机游走扰动具有无记忆性与对称性，切换成本得以降低，而未以牺牲遗憾为代价。
• 理论界通过协方差结构与涉及动作间 $\ell_1$-距离的矩不等式推导得出。