[论文解读] Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks

Qin Ding, Cho‐Jui Hsieh+1 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Bandit Algorithms Research参考文献 20被引用 4

一句话总结

本论文提出首个在奖励和上下文均遭受完全自适应、全知对抗攻击下仍能实现次线性遗憾的鲁棒随机线性上下文Bandit算法，且无需事先知晓攻击预算或攻击形式。该方法采用双层Bandit结构并动态调整探索策略，在模拟及Movielens、Netflix等真实数据集上，于Garcelon和Oracle攻击下，显著优于LinUCB、LinTS和Greedy基线方法。

ABSTRACT

Stochastic linear contextual bandit algorithms have substantial applications in practice, such as recommender systems, online advertising, clinical trials, etc. Recent works show that optimal bandit algorithms are vulnerable to adversarial attacks and can fail completely in the presence of attacks. Existing robust bandit algorithms only work for the non-contextual setting under the attack of rewards and cannot improve the robustness in the general and popular contextual bandit environment. In addition, none of the existing methods can defend against attacked context. In this work, we provide the first robust bandit algorithm for stochastic linear contextual bandit setting under a fully adaptive and omniscient attack with sub-linear regret. Our algorithm not only works under the attack of rewards, but also under attacked context. Moreover, it does not need any information about the attack budget or the particular form of the attack. We provide theoretical guarantees for our proposed algorithm and show by experiments that our proposed algorithm improves the robustness against various kinds of popular attacks.

研究动机与目标

• 为解决在奖励与上下文均被操纵的对抗攻击下，随机线性上下文Bandit算法缺乏鲁棒性的问题。
• 设计一种方法，使算法在完全自适应且全知的攻击者（实时观察玩家决策）下仍能保持次线性遗憾。
• 设计一种算法，无需知晓攻击预算或攻击模式，从而适用于一般上下文Bandit设置。
• 将鲁棒性扩展至奖励污染之外，涵盖上下文操纵，这是此前上下文Bandit中尚未解决的挑战。
• 通过实证验证该算法在真实推荐数据上面对多种攻击类型时，优于LinUCB、LinTS和Greedy方法。

提出的方法

• 提出一种双层Bandit架构：上层采用EXP3算法，动态选择下层LinUCB算法的探索参数C'。
• EXP3层每轮根据前一轮的即时反馈选择C'，避免基于周期的重启机制，以保留历史信息。
• 引入一种改进的LinUCB算法，其探索参数被扩大并依赖于C'，从而增强对对抗攻击的鲁棒性。
• 理论分析表明，遗憾界为 Õ(d^{1/2}(C+1)T^{3/4}) + Õ(d^{3/2}CT^{1/4})，在有限攻击预算C下为次线性。
• 通过BOB-No-Restart（无重启变体）进行实证评估，该变体虽缺乏理论保证，但在实践中表现更优。
• 使用真实数据集（Movielens、Netflix）并基于矩阵分解生成特征向量，以模拟现实的上下文Bandit环境。

实验结果

研究问题

• RQ1 能否在奖励与上下文均遭受完全自适应、全知对抗攻击下，使随机线性上下文Bandit算法实现次线性遗憾？
• RQ2 是否可能设计一种无需事先知晓攻击预算或攻击模式的鲁棒算法？
• RQ3 所提算法在奖励与上下文攻击下，与LinUCB、LinTS和Greedy方法相比性能如何？
• RQ4 无重启变体（BOB-No-Restart）是否能在缺乏理论保证的情况下，实现优于所有基线的实证鲁棒性？
• RQ5 在鲁棒上下文Bandit的遗憾界中，攻击预算C与时间跨度T之间的理论权衡关系为何？

主要发现

• 所提出的RobustBandit算法在奖励与上下文均遭受对抗攻击时，实现了次线性遗憾 Õ(d^{1/2}(C+1)T^{3/4}) + Õ(d^{3/2}CT^{1/4})。
• 在模拟实验、Movielens和Netflix数据集上，于Garcelon和Oracle攻击下，该算法在累积遗憾方面显著优于LinUCB、LinTS和Greedy基线。
• BOB-No-Restart（无重启变体）在实证中展现出显著优于所有基线的鲁棒性，甚至优于具有理论保证的RobustBandit。
• 传统LinUCB在攻击预算C为Ω(log T)时表现出线性遗憾，表明标准算法在攻击下具有脆弱性。
• 该方法是首个在一般上下文Bandit设置中，无需攻击预算或形式信息即可同时防御奖励与上下文攻击的算法。
• 实验结果证实，即使攻击者针对上半部分臂进行攻击，该算法仍能保持鲁棒性能，表明其对策略性、自适应攻击具有强大韧性。