[论文解读] Tsallis-INF: An Optimal Algorithm for Stochastic and Adversarial Bandits

Julian Zimmert, Yevgeny Seldin|arXiv (Cornell University)|Jul 19, 2018

Advanced Bandit Algorithms Research参考文献 33被引用 11

一句话总结

Tsallis-INF 是一种新颖的 bandit 算法，在无需事先知晓环境类型或时间范围的情况下，能够在随机环境和对抗性环境中均实现最优的遗憾边界。该算法结合了在线镜像下降（OMD）与 α=1/2 的 Tsallis 熵正则化，以及方差减小的损失估计器，使得在随机环境和随机约束环境下实现对数遗憾，同时保持对抗性环境下的遗憾保证。

ABSTRACT

We derive an algorithm that achieves the optimal (within constants) pseudo-regret in both adversarial and stochastic multi-armed bandits without prior knowledge of the regime and time horizon. The algorithm is based on online mirror descent (OMD) with Tsallis entropy regularization with power $α=1/2$ and reduced-variance loss estimators. More generally, we define an adversarial regime with a self-bounding constraint, which includes stochastic regime, stochastically constrained adversarial regime (Wei and Luo), and stochastic regime with adversarial corruptions (Lykouris et al.) as special cases, and show that the algorithm achieves logarithmic regret guarantee in this regime and all of its special cases simultaneously with the adversarial regret guarantee.} The algorithm also achieves adversarial and stochastic optimality in the utility-based dueling bandit setting. We provide empirical evaluation of the algorithm demonstrating that it significantly outperforms UCB1 and EXP3 in stochastic environments. We also provide examples of adversarial environments, where UCB1 and Thompson Sampling exhibit almost linear regret, whereas our algorithm suffers only logarithmic regret. To the best of our knowledge, this is the first example demonstrating vulnerability of Thompson Sampling in adversarial environments. Last, but not least, we present a general stochastic analysis and a general adversarial analysis of OMD algorithms with Tsallis entropy regularization for $α\in[0,1]$ and explain the reason why $α=1/2$ works best.

研究动机与目标

• 开发一种单一的 bandit 算法，无需事先知晓环境类型或时间范围，即可在随机与对抗性环境中实现最优遗憾。
• 在统一框架下统一分析随机、对抗性和受污染随机 bandit 环境。
• 证明 α=1/2 的 Tsallis 熵正则化可在多种 bandit 环境中实现最优性能。
• 表明 Thompson Sampling 在对抗性环境中易受攻击，而 Tsallis-INF 则不会。
• 对 α∈[0,1] 范围内的 OMD 与 Tsallis 熵进行一般性分析，解释为何 α=1/2 为最优选择。

提出的方法

• 该算法采用在线镜像下降（OMD）方法，并在 α=1/2 处应用 Tsallis 熵正则化。
• 采用方差减小的损失估计器，以改善随机环境下的遗憾边界。
• 在一种广义的自约束条件下进行方法分析，该条件可推广至随机与对抗性 bandit 环境。
• 该算法在广义自约束环境下实现对数遗憾，其特例包括随机 bandit 环境、随机约束的对抗性 bandit 环境，以及存在对抗性污染的随机 bandit 环境。
• 理论分析表明，α=1/2 在随机与对抗性环境之间最小化了遗憾。
• 该框架被扩展至基于效用的对弈 bandit 环境，同样实现了最优遗憾。

实验结果

研究问题

• RQ1 是否存在一种单一的 bandit 算法，可在无需事先知晓环境类型的情况下，同时在随机与对抗性环境中实现最优遗憾？
• RQ2 Tsallis 熵正则化参数 α 的最优取值是多少？
• RQ3 在 UCB1 和 Thompson Sampling 失效的对抗性环境中，Tsallis-INF 表现如何？
• RQ4 自约束条件框架能否统一随机与对抗性 bandit 环境，并在单一遗憾保证下实现统一？
• RQ5 为何在 OMD 与 Tsallis 熵正则化中，α=1/2 能够实现最佳性能？

主要发现

• Tsallis-INF 在无需事先知晓环境类型或时间范围的情况下，于随机与对抗性 bandit 环境中均实现了最优（常数因子内）的伪遗憾。
• 该算法在广义自约束环境下实现对数遗憾，该环境包括随机 bandit 环境、随机约束的对抗性 bandit 环境，以及存在对抗性污染的随机 bandit 环境。
• 实验结果表明，Tsallis-INF 在随机环境中显著优于 UCB1 和 EXP3。
• 在对抗性环境中，UCB1 和 Thompson Sampling 的遗憾接近线性，而 Tsallis-INF 保持对数遗憾。
• 本研究首次提供了 Thompson Sampling 在对抗性环境中易受攻击的实证证据。
• 理论分析确认，α=1/2 是 OMD 与 Tsallis 熵正则化下的最优选择，可在随机与对抗性环境之间最小化遗憾。