[论文解读] Nearly Optimal Regret for Stochastic Linear Bandits with Heavy-Tailed Payoffs

Bo Xue, Guanghui Wang+2 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Bandit Algorithms Research参考文献 24被引用 4

一句话总结

本论文提出了两种新颖算法——基于分位数均值和动态截断——用于重尾奖励的随机线性 bandit 问题，仅需有限的 $1+\epsilon$ 阶矩。该工作建立了几乎最优的遗憾界 $\widetilde{O}(d^{1/2}T^{1/(1+\epsilon)})$，当 $\epsilon=1$ 时，该界与下界仅相差对数因子，且通过在 Student's $t$ 和 Pareto 噪声下的实验验证了性能。

ABSTRACT

In this paper, we study the problem of stochastic linear bandits with finite action sets. Most of existing work assume the payoffs are bounded or sub-Gaussian, which may be violated in some scenarios such as financial markets. To settle this issue, we analyze the linear bandits with heavy-tailed payoffs, where the payoffs admit finite $1+ε$ moments for some $ε\in(0,1]$. Through median of means and dynamic truncation, we propose two novel algorithms which enjoy a sublinear regret bound of $\widetilde{O}(d^{\frac{1}{2}}T^{\frac{1}{1+ε}})$, where $d$ is the dimension of contextual information and $T$ is the time horizon. Meanwhile, we provide an $Ω(d^{\fracε{1+ε}}T^{\frac{1}{1+ε}})$ lower bound, which implies our upper bound matches the lower bound up to polylogarithmic factors in the order of $d$ and $T$ when $ε=1$. Finally, we conduct numerical experiments to demonstrate the effectiveness of our algorithms and the empirical results strongly support our theoretical guarantees.

研究动机与目标

• 为解决现有随机线性 bandit 算法假设奖励有界或次高斯分布的局限性，此类假设在金融等现实场景中可能不成立。
• 设计对仅具有有限 $1+\epsilon$ 阶矩（$\epsilon \in (0,1]$）的重尾奖励分布具有鲁棒性的算法。
• 弥合在重尾假设下，有限动作集线性 bandit 问题中现有上界与已知下界之间的差距。
• 建立一个与信息论下界仅相差对数因子的紧致遗憾界，适用于 $T$ 和 $d$。

提出的方法

• 采用分位数均值技术，以在具有有限 $1+\epsilon$ 阶矩的重尾分布下稳健估计均值奖励。
• 引入动态截断，以自适应控制学习过程中极端奖励值的影响。
• 设计两种不同算法——一种基于分位数均值估计，另一种基于截断——均针对具有有限动作集的线性 bandit 场景。
• 利用稳健统计方法推导参数估计的高概率置信区间，确保在重尾噪声下的稳定性。
• 采用一种新颖的分析框架，结合弱矩假设下的集中不等式，以界定遗憾。
• 通过精心构造的困难实例（含 $K$ 个动作和 $d$ 维上下文）建立下界，证明遗憾阶的最优性。

实验结果

研究问题

• RQ1 当奖励仅具有有限 $1+\epsilon$ 阶矩而非假设次高斯或有界时，能否在随机线性 bandit 中实现次线性遗憾？
• RQ2 在重尾奖励假设下，遗憾对时间范围 $T$ 和维度 $d$ 的最优依赖关系为何？
• RQ3 能否设计对称与非对称重尾噪声分布均具有鲁棒性的算法？
• RQ4 在最小矩假设 $1+\epsilon$ 阶矩下，遗憾界如何随 $d$ 和 $T$ 变化？

主要发现

• 所提算法实现了 $\widetilde{O}(d^{1/2}T^{1/(1+\epsilon)})$ 的遗憾界，相较于先前工作，在有限动作集下改进了 $O(\sqrt{d})$ 因子。
• 当 $\epsilon = 1$ 时，遗憾界变为 $\widetilde{O}(\sqrt{dT})$，与最小最大下界仅相差对数因子。
• 建立了 $\Omega(d^{\epsilon/(1+\epsilon)}T^{1/(1+\epsilon)})$ 的下界，证实了在 $T$ 上的遗憾阶最优性，以及在 $d$ 上的近似最优性。
• 数值实验表明，所提算法在对称（Student's $t$）和非对称（Pareto）重尾噪声下，均优于现有方法（MoM、CRT、MENU 和 TOFU）。
• SupBMM（分位数均值变体）实现了最小遗憾，与理论界中更紧的对数因子一致。
• 结果表明，分位数均值与动态截断等稳健估计技术在弱矩假设下对线性 bandit 问题非常有效。