[论文解读] Taming the Monster: A Fast and Simple Algorithm for Contextual Bandits

Alekh Agarwal, Daniel Hsu+4 more|arXiv (Cornell University)|Feb 4, 2014

Advanced Bandit Algorithms Research参考文献 21被引用 313

一句话总结

该论文提出了一种新颖且高效的上下文Bandit算法，通过结合坐标下降生成稀疏策略分布与自适应周期结构，仅需次线性次数的Oracle调用，即可实现最优后悔界——具体为$\tilde{O}(σ√{KT/\ln|Π|})$——并利用代价敏感分类Oracle，显著降低了计算开销，相较于以往最优后悔界算法更具实用性。

ABSTRACT

We present a new algorithm for the contextual bandit learning problem, where the learner repeatedly takes one of $K$ actions in response to the observed context, and observes the reward only for that chosen action. Our method assumes access to an oracle for solving fully supervised cost-sensitive classification problems and achieves the statistically optimal regret guarantee with only $ ilde{O}(\sqrt{KT/\log N})$ oracle calls across all $T$ rounds, where $N$ is the number of policies in the policy class we compete against. By doing so, we obtain the most practical contextual bandit learning algorithm amongst approaches that work for general policy classes. We further conduct a proof-of-concept experiment which demonstrates the excellent computational and prediction performance of (an online variant of) our algorithm relative to several baselines.

研究动机与目标

• 开发一种计算高效的上下文Bandit算法，适用于一般策略类并实现最优后悔界。
• 将实现最优后悔界所需的Oracle调用次数从T的多项式级别降低至次线性级别，具体为$\tilde{O}(√{KT/\ln|Π|})$。
• 通过最小化计算开销，在保持统计最优性的同时，实现上下文Bandit算法的实际部署。
• 设计一种方法，可在不依赖$|Π|$线性增长的前提下，高效扩展至大规模策略类。

提出的方法

• 该算法使用坐标下降过程计算策略上的极稀疏分布，从而实现高效采样。
• 提出一种新颖的周期结构，仅在少数周期更新策略分布，降低计算频率。
• 该方法依赖于求解代价敏感分类问题的优化Oracle，以选择高回报策略。
• 采用带有最小探索概率$\mu$的随机探索策略，确保动作覆盖充分，同时不损害性能。
• 开发了算法的在线变体，结合双重稳健奖励估计与代价敏感Oracle的在线学习。
• 该算法仅在选定周期更新策略分布，从而在保持后悔保证的同时最小化Oracle调用次数。

实验结果

研究问题

• RQ1 我们能否在上下文Bandit中实现最优后悔界，且Oracle调用次数相对于轮数T为次线性？
• RQ2 在大规模策略类中，如何在大幅降低计算复杂度的同时保持统计最优性？
• RQ3 能否高效计算稀疏策略分布，同时在存在探索的情况下仍能保证低后悔？
• RQ4 何种结构设计（如周期调度）可同时实现低后悔与低Oracle使用？
• RQ5 能否设计一种可扩展至大规模策略类与真实数据的实用上下文Bandit算法？

主要发现

• 该算法以高概率实现统计最优的后悔界$\tilde{O}(\sqrt{KT/\ln(|\Pi|/\delta)})$。
• 在$T$轮中，Oracle调用总次数为$\tilde{O}(\sqrt{KT/\ln(|\Pi|/\delta)})$，相对于$T$为次线性。
• 净运行时间为$\tilde{O}(T^{1.5}\sqrt{K\log|\Pi|})$，相较于Randomized UCB等先前方法有显著提升。
• 与Randomized UCB中$\tilde{O}(T^6)$的计算复杂度相比，该算法的计算复杂度被大幅降低，使其适用于实际部署。
• 算法的在线变体在概念验证实验中表现出低计算成本与高奖励性能。
• 理论分析表明，任何满足所需约束的分布$Q$，其支撑集大小必须为$\Omega(\sqrt{K\tau_M / \ln(\tau_M|\Pi|/\delta)})$，证明了稀疏性的必要性。