[论文解读] On Worst-case Regret of Linear Thompson Sampling.

Nima Hamidi, Mohsen Bayati|arXiv (Cornell University)|Jun 11, 2020

Advanced Bandit Algorithms Research参考文献 18被引用 7

一句话总结

本文证明了在线性 Thompson 采样（LinTS）在未进行后验方差膨胀的情况下， worst case 下会遭遇线性遗憾，从而证明了为实现次线性遗憾，$\tilde{\mathcal{O}}(\sqrt{d})$ 的方差膨胀是必要的。此外，本文还表明在温和条件下，仅需$\tilde{\mathcal{O}}(1)$ 的方差膨胀即可实现次线性遗憾，从而解决了 LinTS 最坏情况遗憾界的一个开放问题。

ABSTRACT

In this paper, we consider the worst-case regret of Linear Thompson Sampling (LinTS) for the linear bandit problem. \citet{russo2014learning} show that the Bayesian regret of LinTS is bounded above by $\widetilde{\mathcal{O}}(d\sqrt{T})$ where $T$ is the time horizon and $d$ is the number of parameters. While this bound matches the minimax lower-bounds for this problem up to logarithmic factors, the existence of a similar worst-case regret bound is still unknown. The only known worst-case regret bound for LinTS, due to \cite{agrawal2013thompson,abeille2017linear}, is $\widetilde{\mathcal{O}}(d\sqrt{dT})$ which requires the posterior variance to be inflated by a factor of $\widetilde{\mathcal{O}}(\sqrt{d})$. While this bound is far from the minimax optimal rate by a factor of $\sqrt{d}$, in this paper we show that it is the best possible one can get, settling an open problem stated in \cite{russo2018tutorial}. Specifically, we construct examples to show that, without the inflation, LinTS can incur linear regret up to time $\exp(\Omega(d))$. We then demonstrate that, under mild conditions, a slightly modified version of LinTS requires only an $\widetilde{\mathcal{O}}(1)$ inflation where the constant depends on the diversity of the optimal arm.

研究动机与目标

• 为解决 LinTS 是否能在不过度进行后验方差膨胀的情况下实现最小最大最优的最坏情况遗憾这一开放问题。
• 确定 LinTS 为避免在对抗性环境中遭遇线性遗憾，所需后验方差膨胀的最小量。
• 刻画在何种条件下，仅需常数阶的方差膨胀因子即可实现次线性遗憾。
• 构建显式实例，以证明当不进行方差膨胀时，LinTS 会遭遇线性遗憾。

提出的方法

• 构造对抗性线性 bandit 实例，使得 LinTS 在未进行方差膨胀时，遗憾可达$\exp(\Omega(d))$ 阶，从而导致线性遗憾。
• 通过分析最优臂的多样性，来界定所需方差膨胀因子的依赖关系。
• 提出一种改进的 LinTS 算法，在最优臂满足温和多样性条件时，使用$\tilde{\mathcal{O}}(1)$ 的方差膨胀因子。
• 利用集中不等式与后验方差分析，推导最坏情况下的遗憾界。
• 通过构造困难实例，证明方差膨胀因子的必要性下界。

实验结果

研究问题

• RQ1 是否可能在不进行后验方差膨胀的情况下，实现 LinTS 的次线性最坏情况遗憾？
• RQ2 LinTS 在最坏情况下为避免线性遗憾，所需最小的方差膨胀因子是多少？
• RQ3 在对最优臂施加温和结构假设的条件下，所需方差膨胀能否降低至$\tilde{\mathcal{O}}(1)$？
• RQ4 最优臂的多样性如何影响所需方差膨胀因子？

主要发现

• 若不进行后验方差膨胀，LinTS 可能会遭遇高达$\exp(\Omega(d))$ 时间内的线性遗憾，从而证明在最坏情况下，$\tilde{\mathcal{O}}(\sqrt{d})$ 的方差膨胀是必要的。
• 仅当后验方差被$\tilde{\mathcal{O}}(\sqrt{d})$ 方式膨胀时，LinTS 的最坏情况遗憾才可被界定为$\tilde{\mathcal{O}}(d\sqrt{T})$。
• 在最优臂满足温和多样性条件时，仅需$\tilde{\mathcal{O}}(1)$ 的方差膨胀因子，即可实现$\tilde{\mathcal{O}}(d\sqrt{T})$ 的遗憾界。
• 本文通过证明$\tilde{\mathcal{O}}(\sqrt{d})$ 是 LinTS 最坏情况遗憾的最优界，解决了文献{\cite{russo2018tutorial}}中的一个开放问题。