[论文解读] Perturbed-History Exploration in Stochastic Linear Bandits

Branislav Kveton, Csaba Szepesvári+2 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Bandit Algorithms Research参考文献 21被引用 7

一句话总结

本文提出 LinPHE，一种新颖的随机线性上下文 bandit 算法，通过混合真实奖励与独立同分布的伪奖励，利用扰动历史探索来平衡探索与利用。该算法通过针对加权伯努利变量和的新浓度与反浓度不等式，实现了 $\tilde{O}(d\sqrt{n})$ 的无间隙遗憾界，其中 $d$ 为特征维度。

ABSTRACT

We propose a new online algorithm for cumulative regret minimization in a stochastic linear bandit. The algorithm pulls the arm with the highest estimated reward in a linear model trained on its perturbed history. Therefore, we call it perturbed-history exploration in a linear bandit (LinPHE). The perturbed history is a mixture of observed rewards and randomly generated i.i.d. pseudo-rewards. We derive a $ ilde{O}(d \sqrt{n})$ gap-free bound on the $n$-round regret of LinPHE, where $d$ is the number of features. The key steps in our analysis are new concentration and anti-concentration bounds on the weighted sum of Bernoulli random variables. To show the generality of our design, we generalize LinPHE to a logistic model. We evaluate our algorithms empirically and show that they are practical.

研究动机与目标

• 解决现有探索策略（如 OFU 和 Thompson Sampling）在广义线性 bandit 中的局限性，其中置信集过松且后验采样计算成本过高。
• 设计一种简单且可推广的探索机制，不依赖后验采样或松散的置信集。
• 为基于扰动训练数据的新型探索策略在线性 bandit 中提供理论保证。
• 将所提方法推广至逻辑回归 bandit（logistic bandits），证明其在非线性模型中的通用性。

提出的方法

• 通过将观测到的奖励与来自与实际奖励相同分布族的独立同分布伪奖励混合，构建扰动历史。
• 使用离线 oracle 进行模型拟合，在扰动历史上训练线性模型以估计臂的奖励。
• 在每轮中，选择在扰动模型下估计奖励最高的臂。
• 使用带正则化的加权最小二乘法，从扰动数据中估计参数向量 $\theta_t$。
• 利用针对加权伯努利随机变量和的新浓度与反浓度不等式，分析算法行为。
• 通过在相同扰动历史上训练逻辑回归模型，将 LinPHE 推广至逻辑回归 bandit（即 LogPHE）。

实验结果

研究问题

• RQ1 基于简单扰动的探索策略是否能在不依赖后验采样或置信集的前提下，实现随机线性 bandit 中的最优遗憾界？
• RQ2 基于扰动训练数据的探索策略在线性 bandit 中可获得哪些理论保证？
• RQ3 针对加权伯努利随机变量和的新浓度与反浓度不等式如何促进 LinPHE 的分析？
• RQ4 扰动历史探索框架能否推广至非线性模型（如逻辑回归）？
• RQ5 LinPHE 在遗憾和实际性能方面与 Thompson Sampling 相比如何？

主要发现

• LinPHE 在 $n$ 轮随机线性 bandit 中实现了 $\tilde{O}(d\sqrt{n})$ 的无间隙遗憾界，其中 $d$ 为特征数量。
• 该分析依赖于针对独立同分布伯努利随机变量加权和的新浓度与反浓度不等式。
• 通过使用独立同分布伪奖励的扰动机制，实现了充分的探索，而无需后验采样或松散置信集。
• 该算法可推广至逻辑 bandit，由此产生新算法 LogPHE，其继承了相同的遗憾保证。
• 实验评估表明，尽管 LinPHE 和 LogPHE 基于不同原理，但在实践中与 Thompson Sampling 表现相当。
• 扰动的方差经过精心调节，以在不确定性面前保持乐观，从而实现有效的探索。