[论文解读] Simple Regret Minimization for Contextual Bandits

Aniket Anand Deshmukh, Srinagesh Sharma+3 more|arXiv (Cornell University)|Oct 17, 2018

Advanced Bandit Algorithms Research参考文献 35被引用 14

一句话总结

本文提出了一种名为 Contextual-Gap 的新型算法，用于在上下文 bandit 问题中最小化简单后悔值，其中在无反馈的情况下，先进行纯探索阶段，再进行纯利用阶段。该方法使用置信区间和基于上下文的 UCB 选择策略，以最小化利用阶段的后悔值，在合成数据和真实世界的空间探测器传感器选择任务中实现了最先进的性能，显著优于以最小化累积后悔值为目标的基线方法。

ABSTRACT

There are two variants of the classical multi-armed bandit (MAB) problem that have received considerable attention from machine learning researchers in recent years: contextual bandits and simple regret minimization. Contextual bandits are a sub-class of MABs where, at every time step, the learner has access to side information that is predictive of the best arm. Simple regret minimization assumes that the learner only incurs regret after a pure exploration phase. In this work, we study simple regret minimization for contextual bandits. Motivated by applications where the learner has separate training and autonomous modes, we assume that the learner experiences a pure exploration phase, where feedback is received after every action but no regret is incurred, followed by a pure exploitation phase in which regret is incurred but there is no feedback. We present the Contextual-Gap algorithm and establish performance guarantees on the simple regret, i.e., the regret during the pure exploitation phase. Our experiments examine a novel application to adaptive sensor selection for magnetic field estimation in interplanetary spacecraft, and demonstrate considerable improvement over algorithms designed to minimize the cumulative regret.

研究动机与目标

• 解决现有上下文 bandit 算法在现实世界部署场景中侧重于累积后悔值而非简单后悔值的问题。
• 为具有明确训练（探索）和自主（利用）阶段的系统开发一种实用算法，其中在利用阶段无法获得反馈。
• 在固定预算框架下，为上下文 bandit 问题中的简单后悔值建立理论性能边界。
• 在一项新应用上验证该算法：用于深空探测器的自适应磁力计选择。

提出的方法

• Contextual-Gap 算法使用针对上下文 bandit 问题定制的上界置信区间（UCB），其中每根臂的置信区间根据历史奖励值和上下文进行更新。
• 它采用基于核函数的回归模型来估计每根臂的奖励函数，置信区间的宽度由核矩阵的逆和正则化项决定。
• 在探索阶段，算法选择具有最高上界置信区间的臂，以确保对潜在最优臂的充分采样。
• 探索阶段结束后，选择估计奖励值最高的臂进行利用，且不再接收任何反馈。
• 理论分析使用了自伴算子的 Freedman 不等式以及置信区间宽度的单调性约束，推导出简单后悔值的保证。
• 该方法通过对核矩阵及其逆矩阵进行秩一更新，支持在线更新，从而在中等规模数据集上实现可扩展性。

实验结果

研究问题

• RQ1 能否设计一种上下文 bandit 算法，在具有明确探索与利用阶段的场景中，最小化简单后悔值而非累积后悔值？
• RQ2 在固定预算的上下文 bandit 问题中，能否为简单后悔值建立理论性能保证？
• RQ3 在真实世界应用（如空间探测器传感器选择）中，所提出的 Contextual-Gap 算法与以最小化累积后悔值为目标的基线方法相比表现如何？
• RQ4 使用基于核函数的上下文 UCB 进行函数估计，是否能带来比均匀采样或 epsilon-greedy 策略更优的利用性能？

主要发现

• 在空间探测器磁力计数据集上，Contextual-Gap 在平均简单后悔值方面显著优于五种基线方法——包括均匀采样、epsilon-greedy、Kernel-UCB、Kernel-UCB-Mod 和 Kernel-TS。
• 该算法在不同超参数 α（0.1、0.5、2）取值下均保持一致的性能表现，所有评估均使用 α=1 时调优后的参数。
• 最坏情况下的简单后悔值分析表明，Contextual-Gap 在所有利用时间步长中均实现了更低的最大后悔值，证实了其鲁棒性。
• 当将历史观察数从一个增加到二十五个时，性能仅出现轻微下降，表明该算法具有良好的稳定性与可扩展性。
• 理论分析证明，Contextual-Gap 的简单后悔值是被限制的，关键引理依赖于 Freedman 不等式和置信区间宽度的单调控制。
• 该算法在非独立同分布的真实世界数据集上实现了最先进性能，证明了其在部署阶段无反馈的自主系统中的实际可行性。