[论文解读] Online Learning in Case of Unbounded Losses Using the Follow Perturbed Leader Algorithm

Vladimir V. V’yugin|arXiv (Cornell University)|Aug 25, 2010

Advanced Bandit Algorithms Research参考文献 19被引用 3

一句话总结

本文提出一种改进的跟随扰动领导者（FPL）算法，用于在线学习中处理无界单步损失，采用基于历史专家损失的自适应权重。通过引入一种新的缩放波动性概念，建立了最优性能保证，证明当波动性衰减至零时，即使损失无先验界，也能实现Hannan一致性。

ABSTRACT

In this paper the sequential prediction problem with expert advice is considered for the case where losses of experts suffered at each step cannot be bounded in advance. We present some modification of Kalai and Vempala algorithm of following the perturbed leader where weights depend on past losses of the experts. New notions of a volume and a scaled fluctuation of a game are introduced. We present a probabilistic algorithm protected from unrestrictedly large one-step losses. This algorithm has the optimal performance in the case when the scaled fluctuations of one-step losses of experts of the pool tend to zero.

研究动机与目标

• 填补在线学习理论中专家损失无界这一空白，该情形在标准专家建议框架中常被排除。
• 设计一种鲁棒的学习算法，即使在单个损失无先验界增长时仍保持有效性。
• 引入新的博弈论概念——体积和缩放波动性，以刻画无界损失下序列预测博弈的复杂性。
• 在最小假设下实现最优性能保证（Hannan一致性），具体而言，当专家损失的缩放波动性趋于零时。
• 提供一种具有自适应学习率的随机算法，确保在无界损失增长下，期望累积损失接近事后最优专家的损失。

提出的方法

• 通过引入依赖于专家历史累积损失的权重，修改经典FPL算法，替代固定扰动。
• 将游戏的缩放波动性定义为相对于时变尺度函数的损失可变性度量，从而在无界损失下实现分析。
• 引入“游戏体积”概念，以专家损失动态为基础，量化预测问题的有效复杂性。
• 采用指数同分布噪声的随机扰动机制，但根据观测到的损失模式动态调整学习率。
• 应用Kolmogorov三重级数定理和Kronecker引理，证明归一化损失差的几乎必然收敛，确保长期一致性。
• 设计算法PROT（Perturbed Regularized Tracker），动态适应缩放波动性的减小，实现最优后悔界。

实验结果

研究问题

• RQ1 当单步损失无界且无先验约束时，跟随扰动领导者算法能否保持最优后悔界？
• RQ2 除有界性假设外，哪些博弈论度量可刻画无界损失下在线预测的难度？
• RQ3 若专家损失的缩放波动性趋于零，Hannan一致性是否仍可实现？
• RQ4 自适应学习率策略能否在不知晓损失界或增长速率的情况下确保最优性能？
• RQ5 游戏的体积和缩放波动性在决定在线学习算法收敛性和性能方面起什么作用？

主要发现

• 所提算法实现期望累积损失上界 $ E(s_{1:t}) \nleq \min_i s^i_{1:t} + \frac{\log N}{\epsilon} $，其中 $ \epsilon $ 基于观测到的损失波动自适应选择。
• 当缩放波动性 $ \text{fluc}(t) \to 0 $ 时，算法具有Hannan一致性，即学习者的平均损失收敛至事后最优专家的损失。
• 算法被证明在满足 $ \limsup_{t\to\infty} \frac{\text{fluc}(t)}{\gamma_i(t)} < \infty $ 的游戏中渐近一致（对某个 $ i $），即使 $ \gamma_i(t) $ 事先未知。
• 自适应权重与动态学习率的结合使算法能够处理快于多项式但慢于指数的损失增长率。
• 理论框架引入游戏体积与缩放波动性作为关键度量，使性能分析突破有界损失假设的限制。
• 证明依赖于Kolmogorov三重级数定理与Kronecker引理，建立归一化损失差的几乎必然收敛，确保长期稳定与一致性。