[论文解读] Stage-wise Conservative Linear Bandits

Ahmadreza Moradipari, Christos Thrampoulidis+1 more|arXiv (Cornell University)|Sep 30, 2020

Advanced Bandit Algorithms Research参考文献 29被引用 6

一句话总结

本文提出了两种新颖的算法——分阶段保守线性Thompson采样（SCLTS）和分阶段保守线性UCB（SCLUCB），用于具有安全约束的线性 bandits 问题，要求每个动作的期望奖励至少为基线策略奖励的一个分数。这些方法分别实现了 $\mathcal{O}(\sqrt{T}\log^{3/2}T)$ 和 $\mathcal{O}(\sqrt{T}\log T)$ 的遗憾边界，并将基线动作的使用次数显著降低至 $\mathcal{O}(\log T)$ 倍，优于先前的工作。

ABSTRACT

We study stage-wise conservative linear stochastic bandits: an instance of bandit optimization, which accounts for (unknown) safety constraints that appear in applications such as online advertising and medical trials. At each stage, the learner must choose actions that not only maximize cumulative reward across the entire time horizon but further satisfy a linear baseline constraint that takes the form of a lower bound on the instantaneous reward. For this problem, we present two novel algorithms, stage-wise conservative linear Thompson Sampling (SCLTS) and stage-wise conservative linear UCB (SCLUCB), that respect the baseline constraints and enjoy probabilistic regret bounds of order O(\sqrt{T} \log^{3/2}T) and O(\sqrt{T} \log T), respectively. Notably, the proposed algorithms can be adjusted with only minor modifications to tackle different problem variations, such as constraints with bandit-feedback, or an unknown sequence of baseline actions. We discuss these and other improvements over the state-of-the-art. For instance, compared to existing solutions, we show that SCLTS plays the (non-optimal) baseline action at most O(\log{T}) times (compared to O(\sqrt{T})). Finally, we make connections to another studied form of safety constraints that takes the form of an upper bound on the instantaneous reward. While this incurs additional complexity to the learning process as the optimal action is not guaranteed to belong to the safe set at each round, we show that SCLUCB can properly adjust in this setting via a simple modification.

研究动机与目标

• 为临床试验和在线广告等安全关键应用提供支持，其中动作不能表现差于基线策略。
• 开发在每轮中均遵守线性基线约束的同时最大化累积奖励的算法。
• 减少学习者选择次优基线动作的次数，优于先前的工作。
• 将适用性扩展至各种变体，如约束的bandit反馈和未知的基线奖励。

提出的方法

• 提出 SCLTS 和 SCLUCB，将保守约束整合进线性 bandits 的 Thompson 采样与 UCB 框架中。
• 采用分阶段约束，要求在每轮 $t$ 满足 $\langle x_t, \theta_\star \rangle \geq (1 - \alpha) \langle x_{b_t}, \theta_\star \rangle$。
• 利用置信区间和后验抽样，在探索与约束满足之间取得平衡。
• 提出一种新颖的分析框架，以界定基线动作被选择的次数，实现 $\mathcal{O}(\log T)$ 的使用次数。
• 通过微小修改，使算法能够处理未知的基线奖励和约束的 bandit 反馈。
• 应用矩阵集中不等式（如矩阵 Azuma）推导协方差矩阵最小特征值的高概率边界。

实验结果

研究问题

• RQ1 我们能否设计出在保持低遗憾的同时尊重分阶段保守约束的线性 bandits 算法？
• RQ2 与先前工作相比，如何减少学习者选择非最优基线动作的次数？
• RQ3 所提出的算法能否适应基线奖励未知或约束存在 bandit 反馈的场景？
• RQ4 在这些约束下，保守线性 bandits 算法的理论遗憾边界是什么？
• RQ5 与现有方法（如 SEGE）相比，所提出的算法在遗憾和基线动作使用方面表现如何？

主要发现

• SCLTS 实现了 $\mathcal{O}(\sqrt{T}\log^{3/2}T)$ 的遗憾边界，相较于先前工作 $\mathcal{O}(\sqrt{T}\log T)$ 的遗憾边界，在对数依赖性方面有所改进。
• SCLUCB 实现了 $\mathcal{O}(\sqrt{T}\log T)$ 的遗憾边界，与无约束情况下已知的最佳边界一致。
• 基线动作被选择的次数降低至 $\mathcal{O}(\log T)$，相比先前工作 $\mathcal{O}(\sqrt{T})$ 的边界有显著改进。
• 算法可通过微小修改适应处理未知的基线奖励和约束的 bandit 反馈。
• 所提出的方法可推广至由瞬时奖励上界定义的安全约束，SCLUCB 仅通过简单修改即可实现。
• 实验结果证实，SCLUCB2 的累积遗憾与 Amani 等人（2019）提出的依赖问题的上界一致。