[论文解读] Thompson Sampling for Combinatorial Semi-bandits with Sleeping Arms and Long-Term Fairness Constraints

Zhiming Huang, Yifan Xu+3 more|arXiv (Cornell University)|May 14, 2020

Advanced Bandit Algorithms Research参考文献 10被引用 5

一句话总结

该论文提出TSCSF-B，一种基于Thompson Sampling的组合半-多臂老虎机算法，适用于存在休眠臂和长期公平性约束的场景。通过结合贝塔先验与虚拟队列技术，该算法在奖励最大化与公平性之间实现平衡，实现了问题无关的遗憾上界$\widetilde{O}\left(\frac{\sqrt{mNT}}{T}\right)$，该上界与理论下界一致，并在实践中优于现有的UCB-based方法。

ABSTRACT

We study the combinatorial sleeping multi-armed semi-bandit problem with long-term fairness constraints~(CSMAB-F). To address the problem, we adopt Thompson Sampling~(TS) to maximize the total rewards and use virtual queue techniques to handle the fairness constraints, and design an algorithm called \emph{TS with beta priors and Bernoulli likelihoods for CSMAB-F~(TSCSF-B)}. Further, we prove TSCSF-B can satisfy the fairness constraints, and the time-averaged regret is upper bounded by $\frac{N}{2η} + O\left(\frac{\sqrt{mNT\ln T}}{T} ight)$, where $N$ is the total number of arms, $m$ is the maximum number of arms that can be pulled simultaneously in each round~(the cardinality constraint) and $η$ is the parameter trading off fairness for rewards. By relaxing the fairness constraints (i.e., let $η ightarrow \infty$), the bound boils down to the first problem-independent bound of TS algorithms for combinatorial sleeping multi-armed semi-bandit problems. Finally, we perform numerical experiments and use a high-rating movie recommendation application to show the effectiveness and efficiency of the proposed algorithm.

研究动机与目标

• 解决具有长期公平性约束的组合休眠多臂老虎机问题（CSMAB-F），其中部分臂可能不可用，且公平性要求最低拉动次数。
• 设计一种基于Thompson Sampling的算法，可证明地满足公平性约束的同时最大化累积奖励。
• 推导该设定下Thompson Sampling的问题无关遗憾上界，使其与理论下界一致。
• 通过数值实验和一个真实世界的电影推荐应用验证该算法的有效性。
• 证明基于TS的方法可实现比基于UCB的同类方法更紧的遗憾上界，同时保持出色的实用性能。

提出的方法

• 采用带贝塔先验与伯努利似然的Thompson Sampling，从臂奖励的后验分布中进行采样。
• 引入虚拟队列技术以强制执行长期公平性约束，通过修改队列演化方式以减少舍入误差。
• 使用参数$\eta$实现公平性与奖励之间的权衡，当$\eta \to \infty$时，公平性约束被放松，退化为纯CSMAB设置。
• 将臂的选择建模为约束优化问题，其中每轮选择的臂数受$m$限制。
• 应用延迟反馈框架以处理奖励观测可能存在的延迟，并在遗憾中增加惩罚项。
• 通过设定$\mathbf{k} = [0.3, 0.3, 0.3, 0.3, 0.3]$（五种电影类型）确保公平性约束的可行性，用于电影推荐实验。

实验结果

研究问题

• RQ1 Thompson Sampling能否被有效适配于具有休眠臂和长期公平性约束的组合半-多臂老虎机问题？
• RQ2 基于Thompson Sampling的CSMAB-F算法的理论遗憾上界是多少？与基于UCB的方法相比如何？
• RQ3 所提出的算法是否在经验性能上优于现有公平感知的Bandit算法（如LFG）？
• RQ4 公平性参数$\eta$如何影响奖励最大化与约束满足之间的权衡？
• RQ5 能否使遗憾上界实现问题无关性，并与已知的CSMAB问题下界一致？

主要发现

• 所提出的TSCSF-B算法实现了时间平均遗憾的上界$\frac{N}{2\eta} + O\left(\frac{\sqrt{mNT\ln T}}{T}\right)$，该上界为问题无关，且当$\eta \to \infty$时与理论下界一致。
• 与基于UCB的LFG算法相比，该遗憾上界具有更小的系数，表明Thompson Sampling在理论性能保证上更优。
• 在MovieLens 20M数据集上的数值实验中，TSCSF-B的最终评分更接近真实平均值，表明其在奖励估计上具有更高的准确性。
• 在电影推荐应用中，TSCSF-B的收敛速度优于LFG，表现为更低的时间平均遗憾。
• 当$\eta = \sqrt{\frac{NT}{m\ln T}}$时，TSCSF-B与LFG均满足公平性约束，但TSCSF-B保持了更高的奖励效率。
• 当公平性约束被放松（$\eta \to \infty$）时，遗憾上界退化为组合休眠Bandit问题中基于TS的首个问题无关上界，与Bubeck等人（2012）的下界一致。