[论文解读] Stochastic Contextual Bandits with Known Reward Functions

Pranav Sakulkar, Bhaskar Krishnamachari|arXiv (Cornell University)|Apr 30, 2016

Advanced Bandit Algorithms Research参考文献 14被引用 15

一句话总结

本文提出了 DCB(ε) 和 CCB(ε,δ)，这是针对具有已知非线性奖励函数的随机上下文多臂赌博机问题的新算法——这类问题在网络应用中很常见，例如动态信道选择和能量采集。通过利用已知的奖励结构，这些算法在时间上实现对数 regret，在非最优臂的数量上实现线性依赖（而非总臂数），从而在连续上下文环境中实现次线性 regret 和存储之间的权衡。

ABSTRACT

Many sequential decision-making problems in communication networks can be modeled as contextual bandit problems, which are natural extensions of the well-known multi-armed bandit problem. In contextual bandit problems, at each time, an agent observes some side information or context, pulls one arm and receives the reward for that arm. We consider a stochastic formulation where the context-reward tuples are independently drawn from an unknown distribution in each trial. Motivated by networking applications, we analyze a setting where the reward is a known non-linear function of the context and the chosen arm's current state. We first consider the case of discrete and finite context-spaces and propose DCB($ε$), an algorithm that we prove, through a careful analysis, yields regret (cumulative reward gap compared to a distribution-aware genie) scaling logarithmically in time and linearly in the number of arms that are not optimal for any context, improving over existing algorithms where the regret scales linearly in the total number of arms. We then study continuous context-spaces with Lipschitz reward functions and propose CCB($ε, δ$), an algorithm that uses DCB($ε$) as a subroutine. CCB($ε, δ$) reveals a novel regret-storage trade-off that is parametrized by $δ$. Tuning $δ$ to the time horizon allows us to obtain sub-linear regret bounds, while requiring sub-linear storage. By exploiting joint learning for all contexts we get regret bounds for CCB($ε, δ$) that are unachievable by any existing contextual bandit algorithm for continuous context-spaces. We also show similar performance bounds for the unknown horizon case.

研究动机与目标

• 填补当前上下文多臂赌博机算法在网络应用中未利用已知奖励函数的空白。
• 为奖励是上下文和动作状态的已知非线性函数的随机上下文多臂赌博机问题，开发高效算法。
• 实现随时间对数增长、随非最优臂数量线性增长的 regret 边界（而非总臂数）。
• 通过跨上下文的联合学习，减少探索，提升连续上下文空间中的 regret 性能。
• 通过参数 δ 建立连续设置下的 regret-存储权衡，实现在已知时间范围内的次线性 regret 和存储。

提出的方法

• 提出 DCB(ε)，一种类似 UCB 的算法，适用于离散有限的上下文空间，利用已知奖励函数在不同上下文间传播奖励信息。
• 引入一种新颖的证明技术，将最优动作的非最优选择次数限制在一个常数内，从而实现对数 regret 的增长。
• 设计 CCB(ε,δ) 作为子程序，利用 DCB(ε) 处理由利普希茨连续奖励函数定义的连续上下文空间。
• 通过 δ 参数化 regret-存储权衡，δ 越大，可实现更低的 regret，但需要更高的存储开销。
• 对未知时间范围应用加倍技巧，确保在不依赖时间范围知识的情况下实现次线性 regret。
• 通过依赖 δ 的区间对连续上下文进行量化，将离散算法的结果推广到连续域。

实验结果

研究问题

• RQ1 是否可以利用已知的奖励函数，在随机上下文多臂赌博机问题中，使 regret 低于标准多臂赌博机方法？
• RQ2 当奖励函数已知时，最优的 regret 增长方式是什么？与现有算法相比有何差异？
• RQ3 在连续设置中，通过跨上下文的联合学习，能否实现现有上下文多臂赌博机算法无法达到的 regret 边界？
• RQ4 如何在连续上下文多臂赌博机问题中形式化并利用 regret-存储权衡？
• RQ5 当时间范围未知时，通过自适应算法设计，可实现哪些性能保证？

主要发现

• DCB(ε) 实现的 regret 随时间对数增长，随非最优臂数量线性增长（而非总臂数），相比标准算法有显著改进。
• 对于具有利普希茨连续奖励函数的连续上下文，CCB(ε,δ) 在已知时间范围下实现 O(√T) 的 regret，在未知时间范围下实现 O(√T log T) 的 regret。
• CCB(ε,δ) 的 regret 随 δ 减小而降低，表明其具备可调节的 regret-存储权衡：更大的存储开销可换取更低的 regret。
• 数值结果表明，CCB(ε,δ) 在高维或连续设置中优于 Multi-UCB 和 UCB1，这得益于跨上下文的联合学习机制。
• CCB(ε,δ) 的理论 regret 边界在连续上下文空间中是现有上下文多臂赌博机算法无法实现的。
• 作为副产品，本文证明了 UCB1 中最优动作选择次数的高概率边界，该结果在 bandit 理论中可能具有独立应用价值。