[论文解读] The Intrinsic Robustness of Stochastic Bandits to Strategic Manipulation

Zhe Feng, David C. Parkes+1 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Bandit Algorithms Research参考文献 28被引用 5

一句话总结

本文证明了UCB、ε-探索和Thompson采样多臂老虎机算法在面对能够在其奖励上进行预算约束内操纵的臂时具有鲁棒性。它证明了在任意自适应操纵下，这三种算法的遗憾界均为O(max{B, K ln T})，并且该界在纳什均衡策略下仍为紧致界，表明当总操纵预算B在时间T上为次线性时，算法具有极强的鲁棒性。

ABSTRACT

Motivated by economic applications such as recommender systems, we study the behavior of stochastic bandits algorithms under \emph{strategic behavior} conducted by rational actors, i.e., the arms. Each arm is a \emph{self-interested} strategic player who can modify its own reward whenever pulled, subject to a cross-period budget constraint, in order to maximize its own expected number of times of being pulled. We analyze the robustness of three popular bandit algorithms: UCB, $\varepsilon$-Greedy, and Thompson Sampling. We prove that all three algorithms achieve a regret upper bound $\mathcal{O}(\max \{ B, K\ln T\})$ where $B$ is the total budget across arms, $K$ is the total number of arms and $T$ is length of the time horizon. This regret guarantee holds under \emph{arbitrary adaptive} manipulation strategy of arms. Our second set of main results shows that this regret bound is \emph{tight} -- in fact for UCB it is tight even when we restrict the arms' manipulation strategies to form a \emph{Nash equilibrium}. The lower bound makes use of a simple manipulation strategy, the same for all three algorithms, yielding a bound of $Ω(\max \{ B, K\ln T\})$. Our results illustrate the robustness of classic bandits algorithms against strategic manipulations as long as $B=o(T)$.

研究动机与目标

• 分析UCB、ε-探索和Thompson采样等随机多臂老虎机算法在臂进行策略性操纵时的鲁棒性。
• 将臂建模为理性代理，通过在预算内操纵奖励以最大化其被拉动的频率。
• 建立在任意自适应操纵策略（包括最坏情况和均衡行为）下均成立的遗憾界。
• 确定在标准博弈论解概念——纳什均衡下，遗憾界是否可进一步改进。
• 通过在有界和无界奖励设置下的模拟验证理论结果。

提出的方法

• 将每条臂建模为可在时间上总预算Bi内修改其奖励的战略代理。
• 将互动形式化为随机博弈，其中臂的策略影响老虎机算法的选择与遗憾。
• 使用集中不等式和置信区间与后验均值的高概率界来分析遗憾。
• 通过在操纵下对最优臂被选中的概率进行分解，并利用对臂拉动的阈值化处理，推导遗憾的上界。
• 通过一种简单的集中式投资操纵策略构造下界，证明边界的紧致性。
• 在有界奖励（Beta分布）和不同预算设置下，通过模拟验证理论结果。

实验结果

研究问题

• RQ1 当臂在预算约束下策略性地操纵其奖励时，经典随机多臂老虎机算法是否仍能保持低遗憾？
• RQ2 在任意自适应操纵策略（包括非均衡行为）下，O(max{B, K ln T})的遗憾界是否依然成立？
• RQ3 当臂按照纳什均衡策略行动时，O(max{B, K ln T})的遗憾界是否仍为紧致界？
• RQ4 总操纵预算B如何影响遗憾？其对臂的数量K和时间范围T的依赖关系如何？
• RQ5 相同的下界构造是否也能构成ε-探索和Thompson采样算法的纳什均衡？或者在均衡行为下该边界可能偏松？

主要发现

• 在任意自适应操纵策略下，三种算法——UCB、ε-探索和Thompson采样——均实现了O(max{B, K ln T})的遗憾上界。
• 对于UCB，即使在纳什均衡操纵下，遗憾界仍为紧致界，通过Ω(max{B, K ln T})的下界得到证明。
• 对于ε-探索和Thompson采样，通过集中式投资策略建立了匹配的下界Ω(max{B, K ln T})，但尚不确定该策略是否构成纳什均衡。
• 遗憾随总操纵预算B线性增长，只要B = o(T)，最优臂将被拉动T - o(T)次。
• 该结果在有界和无界奖励下均成立，模拟结果证实了在有界设置下遗憾与B的线性依赖关系。
• 研究结果表明，经典多臂老虎机算法对策略性操纵具有鲁棒性，即使在最坏情况或均衡行为下，只要预算在时间上为次线性，其性能仍具保障。