[论文解读] Unifying the stochastic and the adversarial Bandits with Knapsack

Anshuka Rangi, Massimo Franceschetti+1 more|arXiv (Cornell University)|Oct 23, 2018

Advanced Bandit Algorithms Research参考文献 15被引用 3

一句话总结

本文提出了 EXP3.BwK 和 EXP3++.BwK，这两种新颖的算法用于对抗性 Bandits with Knapsack（BwK）问题，可在无需奖励超过成本这一严格假设的前提下实现阶最优的遗憾。这些算法在随机与对抗性设置下均表现出色，分别实现了对抗性情况下 $O(\sqrt{KB})$ 的遗憾和随机情况下 $O(\log B)$ 的遗憾，且在 EXP3++.BwK 中后者额外多出 $\log B$ 因子。

ABSTRACT

This paper investigates the adversarial Bandits with Knapsack (BwK) online learning problem, where a player repeatedly chooses to perform an action, pays the corresponding cost, and receives a reward associated with the action. The player is constrained by the maximum budget $B$ that can be spent to perform actions, and the rewards and the costs of the actions are assigned by an adversary. This problem has only been studied in the restricted setting where the reward of an action is greater than the cost of the action, while we provide a solution in the general setting. Namely, we propose EXP3.BwK, a novel algorithm that achieves order optimal regret. We also propose EXP3++.BwK, which is order optimal in the adversarial BwK setup, and incurs an almost optimal expected regret with an additional factor of $\log(B)$ in the stochastic BwK setup. Finally, we investigate the case of having large costs for the actions (i.e., they are comparable to the budget size $B$), and show that for the adversarial setting, achievable regret bounds can be significantly worse, compared to the case of having costs bounded by a constant, which is a common assumption within the BwK literature.

研究动机与目标

• 解决现有算法在随机与对抗性 Bandits with Knapsack（BwK）设置下均表现良好的缺失问题。
• 消除先前工作中在对抗性 BwK 中要求奖励必须超过成本的限制性假设。
• 提供一个统一的算法框架，使在随机与对抗性 BwK 中均能实现阶最优遗憾。
• 分析在对抗性 BwK 中大动作成本（与预算 B 相当）对遗憾界的影响。
• 在一般奖励-成本设定下建立理论遗憾保证，无需物理或维度可比性假设。

提出的方法

• 通过引入时间变化的学习率 $\gamma_t = 0.5\sqrt{c_{\text{min}}^2 \log K / Kt}$，将 EXP3 算法扩展至 BwK 设置，提出 EXP3.BwK，以在预算约束下平衡探索与利用。
• 提出 EXP3++.BwK 作为改进版本，通过引入更具侵略性的探索策略，提升随机设置下的遗憾界。
• 采用基于置信度的探索策略，其中 $\epsilon_t(i) \leq 0.5c_{\text{min}}\sqrt{\log K / tK}$，以控制损失与奖励估计中的估计误差。
• 应用浓度不等式与鞅论证，通过将期望遗憾分解为估计误差、探索与学习率项来界定遗憾。
• 利用背包约束的结构，定义 $\tau(E)$ 为预算耗尽的停止时间，并分析至 $T = \max\{T(i^*), \tau(E)\}$ 时的遗憾。
• 结合切尔诺夫型不等式与求和不等式推导遗憾界，特别是通过积分与渐近分析来界定形如 $\sum_t \exp(-\gamma_t \tilde{\Delta}_t(i))$ 的项。

实验结果

研究问题

• RQ1 能否设计一种单一算法，在无需假设奖励超过成本的前提下，同时在随机与对抗性 BwK 中实现阶最优遗憾？
• RQ2 当动作成本较大（与预算 B 相当）时，对对抗性 BwK 中可实现的遗憾有何影响？
• RQ3 如何将 EXP3 框架适配以处理背包约束，同时保持最优遗憾保证？
• RQ4 能否在保持对抗性情况下 $O(\sqrt{KB})$ 遗憾的同时，将随机 BwK 中的遗憾提升至 $O(\log B)$？
• RQ5 当成本不被常数有界，而随预算 B 增长时，遗憾的理论极限是什么？

主要发现

• EXP3.BwK 在对抗性 BwK 设置下实现了 $O(\sqrt{KB})$ 的期望遗憾，该结果为阶最优，且无需奖励大于成本的假设。
• EXP3++.BwK 在随机 BwK 设置下实现了 $O(\log B)$ 的期望遗憾，额外多出 $\log B$ 因子，接近最优。
• EXP3.BwK 的遗憾界为 $O\left(\sqrt{BK\log K / c_{\text{min}}^3}\right)$，显示出对最小成本 $c_{\text{min}}$ 的依赖。
• 当成本较大（与预算 B 相当）时，对抗性 BwK 中可实现的遗憾界可能显著劣于有界成本情形。
• 分析表明，先前工作中常见的有界成本假设至关重要——若无此假设，遗憾保证将显著退化。
• 理论界限通过浓度不等式与指数项求和推导得出，关键步骤依赖于引理 10 及对 $\sum_t \exp(-\gamma_t \tilde{\Delta}_t(i))$ 的界。