[论文解读] Nearly Optimal Adaptive Procedure for Piecewise-Stationary Bandit: a Change-Point Detection Approach.

Yang Cao, Zheng Wen+2 more|arXiv (Cornell University)|Feb 11, 2018

Advanced Bandit Algorithms Research参考文献 17被引用 11

一句话总结

本文提出 M-UCB，一种自适应多臂赌博机算法，通过结合变化点检测技术与 UCB 算法，检测分段平稳奖励分布中的变化。该算法实现了 $O(\sqrt{MKT\log T})$ 的遗憾边界，表明在 $T$ 上近乎最优（仅相差对数因子），且在 Yahoo! 数据集上相比最先进方法将遗憾减少了约 50%。

ABSTRACT

Multi-armed bandit (MAB) is a class of online learning problems where a learning agent aims to maximize its expected cumulative reward while repeatedly selecting to pull arms with unknown reward distributions. In this paper, we consider a scenario in which the arms' reward distributions may change in a piecewise-stationary fashion at unknown time steps. By connecting change-detection techniques with classic UCB algorithms, we motivate and propose a learning algorithm called M-UCB, which can detect and adapt to changes, for the considered scenario. We also establish an $O(\sqrt{MKT\log T})$ regret bound for M-UCB, where $T$ is the number of time steps, $K$ is the number of arms, and $M$ is the number of stationary segments. % and $\Delta$ is the gap between the expected rewards of the optimal and best suboptimal arms. Comparison with the best available lower bound shows that M-UCB is nearly optimal in $T$ up to a logarithmic factor. We also compare M-UCB with state-of-the-art algorithms in a numerical experiment based on a public Yahoo! dataset. In this experiment, M-UCB achieves about $50 \%$ regret reduction with respect to the best performing state-of-the-art algorithm.

研究动机与目标

• 解决奖励分布在未知时间点突然变化的多臂赌博机问题挑战。
• 开发一种自适应学习算法，能够在不了解变化时间的前提下检测此类分布变化。
• 在分段平稳环境中实现接近最优的遗憾性能，相对于平稳段数 $M$、时间范围 $T$ 和臂的数量 $K$。
• 通过在真实世界数据上的实证验证，超越现有最先进算法。

提出的方法

• 将变化点检测技术与上置信界（UCB）算法结合，以实现对分布变化的动态适应。
• 通过跟踪与预期表现的偏差，利用统计监控检测各臂奖励分布的变化。
• 为每条臂维护独立的置信区间，并在检测到变化点时重新初始化估计值。
• 采用基于阈值的检测机制，识别奖励分布是否发生显著变化。
• 在每次检测到变化后，重新估计最优臂选择策略，以最小化新平稳段期间的遗憾。
• 通过使用对数置信区间平衡探索与利用，确保理论遗憾边界成立。

实验结果

研究问题

• RQ1 变化点检测能否与 UCB 有效结合，以在分段平稳赌博机问题中实现近乎最优的遗憾？
• RQ2 一种在不了解变化时间的前提下检测奖励分布变化的自适应算法，其理论遗憾边界是什么？
• RQ3 所提出的 M-UCB 算法在真实世界、非平稳环境中的实证表现与最先进方法相比如何？
• RQ4 在动态赌博机设置中，集成变化检测能在多大程度上减少累积遗憾？

主要发现

• M-UCB 实现了 $O(\sqrt{MKT\log T})$ 的遗憾边界，该边界在 $T$ 上近乎最优（仅相差对数因子）。
• 在公开的 Yahoo! 数据集上，与表现最佳的最先进算法相比，该算法将遗憾减少了约 50%。
• 将变化点检测与 UCB 集成，可有效适应奖励过程中的未知分布变化。
• 理论遗憾边界与目前已知的最佳下界仅相差对数因子，证实了其近乎最优性。
• 实证结果表明，M-UCB 在真实世界、非平稳赌博机场景中表现出色。