[论文解读] Stochastic Bandits with Linear Constraints

Aldo Pacchiano, Mohammad Ghavamzadeh+2 more|arXiv (Cornell University)|Jun 17, 2020

Advanced Bandit Algorithms Research参考文献 24被引用 7

一句话总结

该论文针对具有线性成本约束的随机上下文线性 bandit 问题，提出了乐观悲观线性 bandit（OPLB）算法，通过在探索与利用之间取得平衡，同时确保期望成本不超过阈值。该算法建立了 $\widetilde{\mathcal{O}}\left(\frac{d\sqrt{T}}{\tau - c_0}\right)$ 的遗憾界，其中 $d$ 为动作维度，$T$ 为时间范围，$\tau - c_0$ 为约束阈值与已知可行动作成本之间的差距。

ABSTRACT

We study a constrained contextual linear bandit setting, where the goal of the agent is to produce a sequence of policies, whose expected cumulative reward over the course of $T$ rounds is maximum, and each has an expected cost below a certain threshold $τ$. We propose an upper-confidence bound algorithm for this problem, called optimistic pessimistic linear bandit (OPLB), and prove an $\widetilde{\mathcal{O}}(\frac{d\sqrt{T}}{τ-c_0})$ bound on its $T$-round regret, where the denominator is the difference between the constraint threshold and the cost of a known feasible action. We further specialize our results to multi-armed bandits and propose a computationally efficient algorithm for this setting. We prove a regret bound of $\widetilde{\mathcal{O}}(\frac{\sqrt{KT}}{τ- c_0})$ for this algorithm in $K$-armed bandits, which is a $\sqrt{K}$ improvement over the regret bound we obtain by simply casting multi-armed bandits as an instance of contextual linear bandits and using the regret bound of OPLB. We also prove a lower-bound for the problem studied in the paper and provide simulations to validate our theoretical results.

研究动机与目标

• 解决在每轮中满足线性成本约束的同时最大化累积奖励的挑战。
• 构建一种设定，其中约束针对每轮的期望成本（而非累积成本），从而相比以往的累积约束模型，实现更灵活且更高收益的解决方案。
• 设计一种高效算法，通过在奖励估计中采用乐观策略、在成本估计中采用悲观策略，以确保约束得到遵守。
• 为一般线性 bandit 和专门的多臂 bandit 情况提供遗憾的理论保证。
• 建立问题特定的下界，以验证所提遗憾界的最优性。

提出的方法

• 提出乐观悲观线性 bandit（OPLB）算法，通过使用奖励的置信上界和成本的置信下界，实现探索与约束满足之间的平衡。
• 为奖励和成本参数维护置信椭球体，并根据观测反馈更新，以指导策略选择。
• 在每轮中，选择一个在悲观调整后的奖励置信上界上最大化、且满足悲观估计的期望成本约束的策略。
• 利用对偶性和凸优化方法，高效计算每一步在置信集内的最优策略。
• 通过利用有限动作空间，将 OPLB 特化为多臂 bandit（OPB），以降低计算复杂度。
• 使用信息论工具和 KL 散度推导遗憾的下界，表明上界具有紧致性。

实验结果

研究问题

• RQ1 在具有每轮期望成本约束的随机上下文线性 bandit 问题中，可实现的最优遗憾是多少？
• RQ2 所提出的 OPLB 算法如何在奖励探索与约束合规之间取得平衡？
• RQ3 与直接应用线性 bandit 结果相比，多臂 bandit 设置下的遗憾界能否进一步改进？
• RQ4 此类约束 bandit 问题的遗憾的根本极限（下界）是什么？
• RQ5 与 knapsack 或保守 bandit 等现有方法相比，所提方法在约束处理和遗憾性能方面表现如何？

主要发现

• OPLB 算法在上下文线性 bandit 问题中实现了 $\widetilde{\mathcal{O}}\left(\frac{d\sqrt{T}}{\tau - c_0}\right)$ 的遗憾界，其中 $d$ 为动作空间的维度，$\tau - c_0$ 为约束阈值与已知可行动作成本之间的差距。
• 在多臂 bandit 情况下，专门化的 OPB 算法实现了 $\widetilde{\mathcal{O}}\left(\frac{\sqrt{KT}}{\tau - c_0}\right)$ 的遗憾界，相比直接应用 OPLB 提高了 $\sqrt{K}$ 倍。
• 论文建立了与上界在对数因子内匹配的问题特定下界，表明所提遗憾界的最优性。
• 仿真结果验证了理论发现，表明 OPLB 能够有效平衡奖励最大化与约束满足。
• 分析表明，约束针对的是每轮成本的期望值，相较于高概率累积约束模型，可实现更高的期望收益。
• 在 MAB 情况下，最优策略的支撑集大小至多为 $m+1$ 个臂，其中 $m$ 为约束数量，从而在实际中简化了搜索空间。