[论文解读] Near Optimal Adversarial Attacks on Stochastic Bandits and Defenses with Smoothed Responses

Shiliang Zuo|arXiv (Cornell University)|Aug 21, 2020

Advanced Bandit Algorithms Research参考文献 5被引用 12

一句话总结

本文提出了一种针对随机多臂赌博机中Upper Confidence Bound（UCB）算法的近似最优对抗攻击策略，其中攻击者通过污染奖励，迫使学习者选择目标臂 T−o(T) 次。该攻击的累积成本为 Õ(√log T)，与首个已证明的下界相比仅相差 log log T 因子，表明在以最小污染代价操纵UCB时达到近似最优。

ABSTRACT

I study adversarial attacks against stochastic bandit algorithms. At each round, the learner chooses an arm, and a stochastic reward is generated. The adversary strategically adds corruption to the reward, and the learner is only able to observe the corrupted reward at each round. Two sets of results are presented in this paper. The first set studies the optimal attack strategies for the adversary. The adversary has a target arm he wishes to promote, and his goal is to manipulate the learner into choosing this target arm $T - o(T)$ times. I design attack strategies against UCB and Thompson Sampling that only spend $\widehat{O}(\sqrt{\log T})$ cost. Matching lower bounds are presented, and the vulnerability of UCB, Thompson sampling, and $\varepsilon$-greedy are exactly characterized. The second set studies how the learner can defend against the adversary. Inspired by literature on smoothed analysis and behavioral economics, I present two simple algorithms that achieve a competitive ratio arbitrarily close to 1.

研究动机与目标

• 研究UCB算法在随机多臂赌博机设置下对对抗攻击的脆弱性。
• 设计一种新颖的攻击策略，以最小化累积污染代价，同时迫使学习者在几乎所有 T 轮中选择非最优目标臂。
• 建立该设置下累积攻击代价的首个理论下界。
• 通过与下界相比仅相差 O(log log T) 因子，证明所提攻击策略的近似最优性。
• 通过数值实验验证理论结果，并与先前工作 [4] 进行比较。

提出的方法

• 攻击者观察学习者选择的臂以及真实奖励，并在奖励 rₜ⁰ 上注入一个策略性污染 αₜ。
• 通过精确控制 αₜ 的大小和符号，攻击策略操纵UCB的置信区间，以利于目标臂。
• 该攻击确保目标臂的估计均值即使在真实均值较低的情况下，仍相对于非目标臂保持较高水平。
• 该方法利用集中不等式和UCB置信区间宽度的性质，维持目标臂的主导地位。
• 开发了一套新颖的分析框架，用于界定非目标臂被选择的次数，证明其最多被选择 o(T) 次。
• 通过基于UCB采样规则和误导学习者需求的矛盾论证，推导出理论下界。

实验结果

研究问题

• RQ1 迫使UCB算法在 T−o(T) 轮中选择非最优目标臂所需的最小累积攻击代价是多少？
• RQ2 能否设计出比先前工作 [4] 更高效的攻击策略，以降低攻击代价？
• RQ3 所提攻击代价是否近似最优，或可进一步优化？
• RQ4 攻击性能如何随奖励方差 σ² 和臂间均值差距 Δ 变化？
• RQ5 能否建立一个与攻击代价上界匹配的理论下界？

主要发现

• 所提攻击的累积污染代价为 Õ(Kσ√log T + ∑ₐ≠ₖ Δₐ⁺)，相比 [4] 中的 O(log T) 代价，降低了 √log T 因子。
• 该攻击在高概率下成功操纵UCB学习者，在 T−o(T) 轮中选择目标臂。
• 首次建立了累积攻击代价的理论下界，与上界相比仅相差 O(log log T) 因子。
• 数值实验验证了理论结果，显示非目标臂仅被选择一次（在 10⁶ 轮中），验证了近似最优性。
• 攻击代价显著低于 [4] 的方法：当 μ=2, σ=0.1 时，代价从 247.3 降低至 3.6，实现了 68 倍的提升。
• 结果表明，与 ε-贪心等随机化方法相比，UCB 对对抗操纵极为脆弱，而后者更具鲁棒性。