[论文解读] On the optimality of the Hedge algorithm in the stochastic regime

Jaouad Mourtada, Stéphane Gaïffas|arXiv (Cornell University)|Sep 5, 2018

Advanced Bandit Algorithms Research被引用 14

一句话总结

该论文表明，采用递减学习率 $η_t \propto \sqrt{\log M / t}$ 的 anytime Hedge 算法在随机环境下可实现最优的 $O(\log M / \Delta)$ regret，与最佳自适应算法表现一致，且无需专门调参。尽管其学习率设定简单且非自适应，该算法仍能适应更简单的随机环境，优于无法自适应的固定时域和加倍技巧变体。

ABSTRACT

In this paper, we study the behavior of the Hedge algorithm in the online stochastic setting. We prove that anytime Hedge with decreasing learning rate, which is one of the simplest algorithm for the problem of prediction with expert advice, is surprisingly both worst-case optimal and adaptive to the easier stochastic and adversarial with a gap problems. This shows that, in spite of its small, non-adaptive learning rate, Hedge possesses the same optimal regret guarantee in the stochastic case as recently introduced adaptive algorithms. Moreover, our analysis exhibits qualitative differences with other variants of the Hedge algorithm, such as the fixed-horizon version (with constant learning rate) and the one based on the so-called "doubling trick", both of which fail to adapt to the easier stochastic setting. Finally, we discuss the limitations of anytime Hedge and the improvements provided by second-order regret bounds in the stochastic case.

研究动机与目标

• 分析 anytime Hedge 算法在随机设定下的性能，其中专家损失为独立同分布，最优专家具有恒定差距 $\Delta$。
• 确定为对抗环境设计的标准 Hedge 算法是否能在无需显式调参的情况下自适应于更简单的随机实例。
• 比较 anytime Hedge 变体与固定时域及加倍技巧变体在自适应随机环境方面的表现。
• 识别 anytime Hedge 在伯恩斯坦条件下的局限性，该条件用于建模低噪声场景。
• 评估更自适应的算法是否在复杂度度量中超越差距 $\Delta$ 提供可证明的改进。

提出的方法

• 分析采用递减学习率 $\eta_t = c_0 \sqrt{\log M / t}$，确保对所有 $T \geq 1$ 成立 anytime regret 上界。
• 将 regret 分解为随时间变化的期望损失，利用 Hedge 的指数加权机制控制次优专家的影响。
• 应用霍夫丁不等式以控制最优与次优专家累积损失差异的尾部概率。
• 构造一个满足 $(1,1)$-伯恩斯坦条件的下界实例，其中损失恒定：$\ell_{1,t} = 0$，$\ell_{i,t} = \Delta$。
• 通过界定算法将显著权重分配给次优专家的概率，推导出期望 regret 的下界。
• 在伯恩斯坦条件下比较 Decreasing Hedge 与更自适应算法的 regret，表明其在某些低噪声区域表现次优。

实验结果

研究问题

• RQ1 采用递减学习率的 anytime Hedge 算法是否能自适应于随机环境，实现优于最坏情况的 regret？
• RQ2 in the stochastic regime，anytime Hedge 的性能与固定时域和加倍技巧变体相比如何？
• RQ3 标准 Hedge 算法在建模低噪声学习的伯恩斯坦条件下是否能实现最优 regret？
• RQ4 anytime Hedge 在随机环境中的内在局限性是否超出差距 $\Delta$？
• RQ5 在复杂的随机实例中，更自适应的算法是否能提供超越标准 Hedge 的可证明改进，且超出 $\Delta$ 的复杂度度量？

主要发现

• 采用 $\eta_t \propto \sqrt{\log M / t}$ 的 anytime Hedge 算法在随机环境下实现最优 regret 上界 $O(\log M / \Delta)$，与最佳自适应算法一致。
• 固定时域 Hedge 变体采用恒定 $\eta_t = \sqrt{\log M / T}$ 时，即使在随机情况下也面临 $\Theta(\sqrt{T \log M})$ 的 regret，表明其无法自适应。
• 在参数 $\beta < 1$ 的伯恩斯坦条件下，anytime Hedge 算法无法实现改进的 regret，表明其在低噪声区域存在根本性局限。
• 为 Decreasing Hedge 建立了 $\Omega(1/(c_0^4 (\log M)^2 \Delta))$ 的 regret 下界，表明在某些条件下其无法进一步改进。
• 分析确认，更自适应的算法（如满足二阶上界的算法）在复杂随机实例中可超越标准 Hedge，其性能改进超出 $\Delta$ 的范围。