[论文解读] Nonstochastic Bandits with Composite Anonymous Feedback

Nicolò Cesa‐Bianchi, Tommaso Cesari+3 more|arXiv (Cornell University)|Dec 6, 2021

Advanced Bandit Algorithms Research被引用 21

一句话总结

本文提出了一类非随机多臂赌博机设置，其特征为复合匿名反馈，即过去动作的损失被对抗性地分散到未来回合。该文提出一种通用的归约方法，可将任意标准多臂赌博机算法转换为对这种反馈结构具有鲁棒性的算法，通过调整FTRL并使用Tsallis熵，实现了$\sqrt{(d+1)KT}$的遗憾界，该界在对数因子范围内为最优。

ABSTRACT

We investigate a nonstochastic bandit setting in which the loss of an action is not immediately charged to the player, but rather spread over the subsequent rounds in an adversarial way. The instantaneous loss observed by the player at the end of each round is then a sum of many loss components of previously played actions. This setting encompasses as a special case the easier task of bandits with delayed feedback, a well-studied framework where the player observes the delayed losses individually. Our first contribution is a general reduction transforming a standard bandit algorithm into one that can operate in the harder setting: We bound the regret of the transformed algorithm in terms of the stability and regret of the original algorithm. Then, we show that the transformation of a suitably tuned FTRL with Tsallis entropy has a regret of order $\sqrt{(d+1)KT}$, where $d$ is the maximum delay, $K$ is the number of arms, and $T$ is the time horizon. Finally, we show that our results cannot be improved in general by exhibiting a matching (up to a log factor) lower bound on the regret of any algorithm operating in this setting.

研究动机与目标

• 形式化一种非随机多臂赌博机设置，其中损失被对抗性地分布于未来回合，形成复合损失。
• 设计一种通用的封装器，将标准多臂赌博机算法转换为可在该复合匿名反馈下运行的算法。
• 为经变换的FTRL结合Tsallis熵算法建立$\sqrt{(d+1)KT}$的遗憾界。
• 证明一个匹配的（在对数因子范围内）下界，表明所推导的遗憾界为最优。

提出的方法

• 提出一种通用归约方法，通过重新加权和缩放损失，将标准多臂赌博机算法映射为对复合匿名反馈具有鲁棒性的算法。
• 采用改进的FTRL算法并结合Tsallis熵作为基础算法，经调优以处理延迟和复合损失结构。
• 引入一种回合分类方案（抽样、停留、更新），受Dekel等人（2014b）的启发，以实现遗憾分析与更新时机的解耦。
• 通过变量替换并利用引理2，正确界定了对延迟$d$的依赖关系，避免了对损失分量的高估。
• 构建一个下界实例，其中对手将高损失集中在$T/d$个时间步内，证明$\Omega(\sqrt{(d+1)KT})$的遗憾不可避免。

实验结果

研究问题

• RQ1 能否系统性地调整标准多臂赌博机算法，以处理损失被分散到未来回合的复合匿名反馈？
• RQ2 在非随机多臂赌博机设置中，对抗性延迟最多为$d$时，可实现的最优遗憾是多少？
• RQ3 是否可以改进$\sqrt{(d+1)KT}$的遗憾界，还是该界已为紧致？
• RQ4 与标准延迟反馈相比，复合反馈的结构如何影响在线学习算法的设计？

主要发现

• 所提出的封装变换确保了变换后算法的遗憾依赖于原始算法的稳定性和遗憾，从而实现了对复合反馈的泛化。
• 当应用于FTRL结合Tsallis熵时，变换后的算法实现了$\sqrt{(d+1)KT}$的遗憾界，该界在对数因子范围内与标准非随机多臂赌博机中的最佳已知界限一致。
• 建立了匹配的下界$\Omega(\sqrt{(d+1)KT})$，证明所推导的遗憾界在对数因子范围内为最优。
• 该下界依赖于对手能够将高损失集中于少数时间步的能力，这一特性在i.i.d.延迟模型中并不存在，因此使得简单分析技术失效。
• 本文修正了初步版本中的两个缺陷：对$d$轮内损失累积的错误界，以及关于概率符号差值的错误不等式，通过新的分析框架得以解决。