[论文解读] Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch

Wang Chi Cheung, Lixing Lyu|arXiv (Cornell University)|May 4, 2024

Advanced Bandit Algorithms ResearchDecision Sciences被引用 3

一句话总结

本文提出 MIN-UCB，一种自适应在线多臂赌博机算法，当离线分布与在线分布足够接近时利用有偏离线数据，而在分布不匹配时忽略它们。该算法在离线数据具有信息量时，其遗憾界严格优于 UCB，通过新颖的线性规划形式化方法，证明了紧致的实例相关与实例无关的界限。

ABSTRACT

Traditional online learning models are typically initialized from scratch. By contrast, contemporary real-world applications often have access to historical datasets that can potentially enhanced the online learning processes. We study how offline data can be leveraged to facilitate online learning in stochastic multi-armed bandits and combinatorial bandits. In our study, the probability distributions that govern the offline data and the online rewards can be different. We first show that, without a non-trivial upper bound on their difference, no non-anticipatory policy can outperform the classical Upper Confidence Bound (UCB) policy, even with the access to offline data. In complement, we propose an online policy MIN-UCB for multi-armed bandits. MIN-UCB outperforms the UCB when such an upper bound is available. MIN-UCB adaptively chooses to utilize the offline data when they are deemed informative, and to ignore them otherwise. We establish that MIN-UCB achieves tight regret bounds, in both instance independent and dependent settings. We generalize our approach to the combinatorial bandit setting by introducing MIN-COMB-UCB, and we provide corresponding instance dependent and instance independent regret bounds. We illustrate how various factors, such as the biases and the size of offline datasets, affect the utility of offline data in online learning. We discuss several applications and conduct numerical experiments to validate our findings.

研究动机与目标

• 设计一种在线赌博机策略，当离线分布与在线分布接近时能有效利用离线数据，但在分布不匹配时避免性能下降。
• 解决随机赌博机中离线与在线奖励分布之间分布偏移的挑战。
• 提供在有效偏差界限下紧致的实例相关与实例无关的遗憾界。
• 建立在何种条件下可安全利用离线数据而不损害性能。

提出的方法

• 提出 MIN-UCB，一种自适应的 UCB 风格策略，基于有效偏差界限 $V$ 动态决定是否使用离线数据。
• 使用结合在线探索与离线数据的置信区间，并通过阈值机制评估数据的相关性。
• 采用新颖的线性规划来刻画在分布不匹配情况下的最优遗憾界。
• 应用链式法则与 KL 散度界限，推导出困难实例的遗憾下界。
• 引入两实例构造方法，证明在不同分布设定下的遗憾下界。
• 使用具有受控均值偏移的高斯赌博机实例，推导出以 $\sqrt{KT}$ 和 $T \cdot V_{\text{max}}$ 表示的下界。

实验结果

研究问题

• RQ1 当存在可能有偏的离线数据时，是否存在一种在线策略能优于朴素的 UCB？
• RQ2 在何种条件下可利用离线数据改善遗憾？何时应忽略它们？
• RQ3 在存在有偏离线数据的赌博机学习中，最紧致的遗憾界是什么？
• RQ4 遗憾如何依赖于离线与在线数据分布之间的不匹配程度？
• RQ5 在有效偏差界限下，实例相关与实例无关的遗憾界能否同时达到紧致性？

主要发现

• 没有任何非预测性策略能在缺乏分布偏移信息的情况下超越 UCB，这确立了一个不可能性结果。
• 当离线与在线分布足够接近时，MIN-UCB 的遗憾界严格优于 UCB，其程度由有效偏差界限 $V$ 量化。
• 当 $P^{\text{(off)}} = P^{\text{(on)}}$ 时，MIN-UCB 的实例相关遗憾界与已知最优界限（2）一致，证明了其紧致性。
• MIN-UCB 的实例无关遗憾界紧致至对数因子，与通过两实例构造推导出的新下界一致。
• 最优遗憾界涉及求解一个新颖的线性规划，该规划刻画了在分布偏移下探索与利用之间的权衡。
• 数值实验表明，当离线数据具有信息量时，MIN-UCB 优于 UCB；而当离线数据无信息量时，其性能不会下降。