[论文解读] Practical Contextual Bandits with Regression Oracles

Dylan J. Foster, Alekh Agarwal+3 more|arXiv (Cornell University)|Mar 3, 2018

Advanced Bandit Algorithms Research参考文献 16被引用 18

一句话总结

本文提出了一种实用且理论基础扎实的上下文Bandit算法，利用回归预言机进行价值函数预测，结合了基于可实现性的方法的计算效率与无认知方法的灵活性。在温和的分布假设下实现了低遗憾，并在多个数据集上的广泛实验中优于基于可实现性的基线和无认知基线。

ABSTRACT

A major challenge in contextual bandits is to design general-purpose algorithms that are both practically useful and theoretically well-founded. We present a new technique that has the empirical and computational advantages of realizability-based approaches combined with the flexibility of agnostic methods. Our algorithms leverage the availability of a regression oracle for the value-function class, a more realistic and reasonable oracle than the classification oracles over policies typically assumed by agnostic methods. Our approach generalizes both UCB and LinUCB to far more expressive possible model classes and achieves low regret under certain distributional assumptions. In an extensive empirical evaluation, compared to both realizability-based and agnostic baselines, we find that our approach typically gives comparable or superior results.

研究动机与目标

• 开发一种通用的上下文Bandit算法，兼具计算效率和理论上的充分依据。
• 克服现有基于可实现性的方法的局限性，这些方法仅限于特定模型族（如广义线性模型）。
• 通过使用更实用的回归预言机，减少对无认知方法中常见且计算上不可行的分类预言机的依赖。
• 在现实的分布假设下实现低遗憾，例如有界分歧系数或广义探索参数。
• 在真实世界数据集上实证验证所提方法的有效性及其理论假设的合理性。

提出的方法

• 该方法使用回归预言机预测每个上下文-动作对的期望奖励，从而实现对复杂价值函数的高效且灵活建模。
• 通过用预言机学习的估计值替代闭式置信区间，将UCB和LinUCB推广至任意模型类。
• 该算法源自代价敏感主动学习技术，经调整后适用于上下文Bandit，重点在于探索与利用的权衡。
• 理论保证基于分布系数（如分歧系数和广义探索参数）建立，这些系数将先前在线性Bandit中的概念推广至非线性函数类。
• 通过避免后验抽样或NP难的分类预言机，保持计算可处理性，转而依赖高效的回归学习。
• 该方法在标准数据集上实现并评估，性能与基于可实现性的基线及无认知基线进行对比。

实验结果

研究问题

• RQ1 能否设计一种上下文Bandit算法，在保持计算效率和实际可用性的同时，适用于多种模型类并实现低遗憾？
• RQ2 与传统分类预言机相比，使用回归预言机在计算可行性与实证性能方面有何差异？
• RQ3 在何种分布假设下，所提方法能实现低遗憾？这些假设如何推广至线性模型之外？
• RQ4 在具有复杂非线性奖励结构的真实场景中，该方法能否优于基于可实现性的基线和无认知基线？
• RQ5 理论假设（如有界分歧系数）在真实数据集上是否具有实证有效性？

主要发现

• 所提算法在所有测试数据集（包括optdigits、page-blocks、pendigits、satimage、vehicle和adult）上，实证性能与基于可实现性的基线和无认知基线相当或更优。
• 在有界分歧系数和广义探索参数等分布假设下，该方法实现了低遗憾，将先前在线性函数类上的结果推广至非线性函数类。
• 对于高维空间中的稀疏线性Bandit，该方法实现了近乎与维度无关的遗憾界，表明其在高维设置下的可扩展性。
• 实证评估验证了理论保证所依赖的分布假设，表明分歧系数和探索参数在实践中保持有界。
• 使用回归预言机被证明比分类预言机更具实用性和有效性，因为它与现实世界学习系统中常用于策略学习的回归方法更为一致。
• 即使在模型类表达能力强时（如回归树或非线性预测器），该算法仍能保持强性能，且不牺牲理论保证。