[论文解读] What You See May Not Be What You Get: UCB Bandit Algorithms Robust to ε-Contamination

Laura Niss, Ambuj Tewari|arXiv (Cornell University)|Oct 12, 2019

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出 crUCB，一种针对 ε-污染环境下随机多臂赌博机的鲁棒上置信度上限（Upper Confidence Bound, UCB）算法，其中每个动作的奖励中最多有 ε 比例可被自适应对手任意破坏。通过使用 α-截尾均值和 α-最短均值估计器的集中不等式，当 ε 较小时，crUCB 在真实随机奖励下实现了 O(√(KT log T)) 的遗憾，优于 UCB1、EXP3、EXP3++ 和 TsallisInf，即使在对抗性污染环境下也表现更优。

ABSTRACT

Motivated by applications of bandit algorithms in education, we consider a stochastic multi-armed bandit problem with $\varepsilon$-contaminated rewards. We allow an adversary to give arbitrary unbounded contaminated rewards with full knowledge of the past and future. We impose the constraint that for each time $t$ the proportion of contaminated rewards for any action is less than or equal to $\varepsilon$. We derive concentration inequalities for two robust mean estimators for sub-Gaussian distributions in the $\varepsilon$-contamination context. We define the $\varepsilon$-contaminated stochastic bandit problem and use our robust mean estimators to give two variants of a robust Upper Confidence Bound (UCB) algorithm, crUCB. Using regret derived from only the underlying stochastic rewards, both variants of crUCB achieve $\mathcal{O} (\sqrt{KT\log T})$ regret for small enough contamination proportions. Our simulations assume small horizons, reflecting the newly explored setting of bandits in education. We show that in certain adversarial regimes crUCB not only outperforms algorithms designed for stochastic (UCB1) and adversarial (EXP3) bandits but also those that have "best of both worlds" guarantees (EXP3++ and TsallisInf) even when our constraint on the proportion of contaminated rewards is broken.

研究动机与目标

• 为应对教育和人类反馈应用中常见低质量响应的对抗性污染挑战，特别是在随机赌博机设置中。
• 开发一种即使在每个动作最多有 ε 比例奖励被污染的情况下仍能保持强遗憾保证的赌博机算法。
• 为子高斯分布下的鲁棒均值估计器在 ε-污染条件下的集中不等式提供理论支持。
• 通过实证验证 crUCB 在小时间跨度设置下，相较于 UCB1、EXP3、EXP3++ 和 TsallisInf 在对抗性污染环境中的优越表现。
• 表明当 ε-污染约束被违反时，该算法仍保持有效性，提示其具备实际鲁棒性。

提出的方法

• 提出两种鲁棒均值估计器：α-截尾均值和 α-最短均值，专为应对子高斯奖励分布中的 ε-污染而设计。
• 推导了这些估计器在 ε-污染下的新集中不等式，使在对抗性破坏存在时仍能可靠构建置信区间。
• 基于鲁棒均值估计器构建了两种鲁棒 UCB 算法变体：crUCB-s 和 crUCB-t，用于计算置信区间。
• 施加约束：在任意时间步，任一动作的奖励中被污染的比例不得超过 ε，以模拟现实中的人员注意力不集中或机器人行为。
• 使用调优参数 α 控制截尾或最短处理过程，该参数需预先知晓，但对低估具有鲁棒性。
• 通过小时间跨度（T=1000）和伯努利对手的模拟，评估在清洁与污染设置下的性能表现。

实验结果

研究问题

• RQ1 在子高斯赌博机设置中，如 α-截尾均值和 α-最短均值等鲁棒均值估计器是否能在 ε-污染下保持集中性质？
• RQ2 基于这些估计器的鲁棒 UCB 算法在 ε 较小时，是否能在真实底层奖励分布上实现 O(√(KT log T)) 的遗憾？
• RQ3 当污染程度超过 ε 约束时，crUCB 与 UCB1、EXP3、EXP3++ 和 TsallisInf 在遗憾表现上如何比较？
• RQ4 crUCB 对调优参数 α 的选择有多敏感？当 α 被高估或低估时，其性能如何？
• RQ5 当对手可完全掌握过去和未来动作时，一种抗污染算法是否仍能保持强性能？

主要发现

• 当污染比例 ε 足够小时，crUCB 在真实随机奖励上实现了 O(√(KT log T)) 的遗憾，与无污染环境下标准 UCB 的遗憾界一致。
• 在 T=1000 和伯努利对手的模拟中，即使 ε-污染约束被违反，crUCB 仍优于 UCB1、EXP3、EXP3++ 和 TsallisInf。
• crUCB 对 α 的高估具有相对不敏感性，而 α 的低估甚至可能提升性能，表明对调优误差具有鲁棒性。
• 高估标准差 σ 会降低性能，而低估 σ 可能提升性能，与 UCB 算法中经验调优实践一致。
• 当 ε=0（无污染）时，crUCB 表现几乎与标准 UCB 相当，表明在清洁环境中使用鲁棒方法的代价极小。
• 前端聚类攻击——即前 ε 个奖励全部被污染——严重损害了大多数算法的性能，但 crUCB 展现出韧性，尤其在早期阶段。