[论文解读] Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret

Raman Arora, Ofer Dekel+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Bandit Algorithms Research参考文献 25被引用 87

一句话总结

本文引入了策略后悔（policy regret）作为在线上下文Bandit学习中对抗自适应对手时比标准后悔更合理的性能度量。它证明了在无界记忆对手下，子线性策略后悔是不可能实现的，但提出了一种通用转换方法，可将任意子线性后悔的Bandit算法转换为在有界记忆下具有子线性策略后悔的算法，该方法进一步扩展至切换后悔、内部后悔和交换后悔。

ABSTRACT

Online learning algorithms are designed to learn even when their input is generated by an adversary. The widely-accepted formal definition of an online algorithm's ability to learn is the game-theoretic notion of regret. We argue that the standard definition of regret becomes inadequate if the adversary is allowed to adapt to the online algorithm's actions. We define the alternative notion of policy regret, which attempts to provide a more meaningful way to measure an online algorithm's performance against adaptive adversaries. Focusing on the online bandit setting, we show that no bandit algorithm can guarantee a sublinear policy regret against an adaptive adversary with unbounded memory. On the other hand, if the adversary's memory is bounded, we present a general technique that converts any bandit algorithm with a sublinear regret bound into an algorithm with a sublinear policy regret bound. We extend this result to other variants of regret, such as switching regret, internal regret, and swap regret.

研究动机与目标

• 为解决在对手根据学习者行为作出反应时，标准后悔作为性能度量的不足。
• 形式化一种新的性能度量——策略后悔，以更好地反映对抗自适应对手的学习表现。
• 研究在不同对手记忆约束下，实现在线Bandit设置中子线性策略后悔的可行性。
• 开发一种通用方法，将标准Bandit算法转换为在对手具有有界记忆时具有子线性策略后悔的算法。
• 将该框架扩展至其他后悔变体，包括切换后悔、内部后悔和交换后悔。

提出的方法

• 提出策略后悔作为新性能度量，将学习者的累积损失与随时间变化的最佳固定策略进行比较。
• 通过构造反例分析标准后悔在自适应环境中的局限性，表明标准后悔可为子线性，但策略后悔却为线性。
• 证明任何Bandit算法都无法在自适应对手具有无界记忆时实现子线性策略后悔。
• 引入一种转换技术，可将任意具有子线性后悔的Bandit算法转换为在对手记忆有界时具有子线性策略后悔的算法。
• 将该转换应用于推导在有界记忆下切换后悔、内部后悔和交换后悔的子线性策略后悔界。
• 使用博弈论分析和后悔分解方法，在有界记忆假设下建立理论保证。

实验结果

研究问题

• RQ1 在对手根据学习者行为作出反应的在线Bandit学习中，标准后悔是否足以衡量性能？
• RQ2 在自适应对手具有无界记忆时，是否可能在在线Bandit设置中实现子线性策略后悔？
• RQ3 对手记忆的何种条件可使设计具有子线性策略后悔的Bandit算法成为可能？
• RQ4 能否构建一种通用转换方法，将任意具有子线性后悔的Bandit算法转换为在对手记忆有界时具有子线性策略后悔的算法？
• RQ5 在自适应环境中，策略后悔界如何与切换后悔、内部后悔和交换后悔等其他后悔变体相关联？

主要发现

• 当对手根据学习者行为作出反应时，标准后悔不足以评估在线Bandit算法的性能。
• 在自适应对手具有无界记忆时，任何Bandit算法都无法实现子线性策略后悔。
• 在有界记忆条件下，一种通用转换方法可将任意具有子线性后悔的Bandit算法转换为具有子线性策略后悔的算法。
• 该转换技术可扩展至在有界记忆下实现切换后悔、内部后悔和交换后悔的子线性界。
• 在自适应环境中，策略后悔比标准后悔提供了更有意义的性能度量。
• 研究结果确立了在线Bandit学习中对抗自适应对手的基本限制与构造性解决方案。