[论文解读] Multiarmed Bandit Problems with Delayed Feedback

Sudipto Guha, Kamesh Munagala+1 more|arXiv (Cornell University)|Nov 4, 2010

Advanced Bandit Algorithms Research参考文献 22被引用 5

一句话总结

本文提出了一种针对具有延迟反馈的贝叶斯多臂老虎机问题的多项式时间算法，通过结构化策略设计与线性规划松弛，实现了常数因子近似。该方法为一大类先验分布提供了 O(1)-近似解，并在有限时域贝叶斯老虎机问题中实现了 2-近似，优于先前的工作。

ABSTRACT

In this paper we initiate the study of optimization of bandit type problems in scenarios where the feedback of a play is not immediately known. This arises naturally in allocation problems which have been studied extensively in the literature, albeit in the absence of delays in the feedback. We study this problem in the Bayesian setting. In presence of delays, no solution with provable guarantees is known to exist with sub-exponential running time. We show that bandit problems with delayed feedback that arise in allocation settings can be forced to have significant structure, with a slight loss in optimality. This structure gives us the ability to reason about the relationship of single arm policies to the entangled optimum policy, and eventually leads to a O(1) approximation for a significantly general class of priors. The structural insights we develop are of key interest and carry over to the setting where the feedback of an action is available instantaneously, and we improve all previous results in this setting as well.

研究动机与目标

• 解决多臂老虎机问题中延迟反馈缺乏可证明保证的缺陷，这一问题是在线广告和随机控制中的常见问题。
• 为奖励反馈延迟 δi 步骤的老虎机问题设计一种计算高效的策略，同时遵守对各臂奖励的预算约束。
• 为一类广义先验分布提供常数因子近似（O(1)），扩展了以往缺乏此类保证的研究成果。
• 通过提出有限时域贝叶斯老虎机问题的 2-近似解，改进先前工作并实现更广泛的推广。
• 设计一种基于优先级的策略组合机制，确保在存在延迟反馈和重叠播放时间表的情况下，仍能实现可行且接近最优的性能。

提出的方法

• 使用基于块的状体表示法建模具有延迟反馈的老虎机问题，其中来自动作的反馈在 δi 步骤后才被接收。
• 为每条臂定义一个随机化且结构清晰的策略，使用线性规划（LP2）编码状态转移、动作次数与期望奖励。
• 通过因子 γ 缩放 LP 解，以确保所有臂的总动作次数不超过时域 T，从而得到修改后的 LP（LP2s）。
• 构建单臂策略 P^r(i,T/2)，该策略基于 LP 解，根据状态和动作次数，概率性地选择每个块内的连续动作次数。
• 使用基于优先级的方案组合各臂策略：按固定顺序选择臂，仅允许处于活动状态（未等待反馈）的臂参与动作。
• 利用马尔可夫不等式界定干扰，并证明每条臂的策略以常数概率被执行，从而保持期望奖励。

实验结果

研究问题

• RQ1 能否为具有延迟反馈且先验分布较一般的情况设计出具有可证明良好性能的策略？
• RQ2 在具有延迟反馈与预算约束的老虎机问题中，多项式时间内可实现的最佳近似比是多少？
• RQ3 如何建模并管理反馈延迟，以在贝叶斯老虎机设置中保持性能保证？
• RQ4 能否利用延迟反馈问题中的结构洞见，来提升即时反馈设置下的性能？
• RQ5 反馈延迟对随机化、结构清晰策略在老虎机分配中的可行性与性能有何影响？

主要发现

• 本文在具有延迟反馈的多臂老虎机问题中，为一大类先验分布实现了 O(1)-近似，这是首次在亚指数时间复杂度下实现此类保证。
• 在有限时域贝叶斯老虎机问题中建立了 2-近似解，优于并推广了先前的研究成果。
• 由于基于优先级的执行机制，组合策略下每条臂的期望贡献至少为其在独立随机策略下期望奖励的 1/8。
• LP 松弛（LP2s）确保总动作次数被限制在 T 以内，且期望奖励为 Ω(OPT)，意味着解在最优策略的常数因子范围内。
• 延迟反馈问题中的结构洞见被用于改进即时反馈设置下的性能，展示了该框架的更广泛应用潜力。
• 基于优先级的策略组合机制确保了臂之间干扰的有界性，使得即使在反馈延迟重叠的情况下，每条臂的策略仍能以常数概率执行。