[论文解读] Top-$k$ eXtreme Contextual Bandits with Arm Hierarchy

Rajat Sen, Alexander Rakhlin+5 more|arXiv (Cornell University)|Feb 15, 2021

Advanced Bandit Algorithms Research参考文献 45被引用 4

一句话总结

本文提出了一种分层 top-$k$ eXtreme 上下文老虎机算法，利用动作层级结构在拥有数百万动作的场景中实现高效的探索与遗憾最小化。通过基于标签嵌入将动作组织为树形结构，并结合逆差距加权与线性回归，该方法降低了计算与遗憾对总动作数 $A$ 的依赖，在 300 万动作的数据集上实现了平均 7.9ms 的推理时间——比之前的方法快 100 倍。

ABSTRACT

Motivated by modern applications, such as online advertisement and recommender systems, we study the top-$k$ extreme contextual bandits problem, where the total number of arms can be enormous, and the learner is allowed to select $k$ arms and observe all or some of the rewards for the chosen arms. We first propose an algorithm for the non-extreme realizable setting, utilizing the Inverse Gap Weighting strategy for selecting multiple arms. We show that our algorithm has a regret guarantee of $O(k\sqrt{(A-k+1)T \log (|\mathcal{F}|T)})$, where $A$ is the total number of arms and $\mathcal{F}$ is the class containing the regression function, while only requiring $ ilde{O}(A)$ computation per time step. In the extreme setting, where the total number of arms can be in the millions, we propose a practically-motivated arm hierarchy model that induces a certain structure in mean rewards to ensure statistical and computational efficiency. The hierarchical structure allows for an exponential reduction in the number of relevant arms for each context, thus resulting in a regret guarantee of $O(k\sqrt{(\log A-k+1)T \log (|\mathcal{F}|T)})$. Finally, we implement our algorithm using a hierarchical linear function class and show superior performance with respect to well-known benchmarks on simulated bandit feedback experiments using extreme multi-label classification datasets. On a dataset with three million arms, our reduction scheme has an average inference time of only 7.9 milliseconds, which is a 100x improvement.

研究动机与目标

• 解决在动作数量极多（如数百万个动作）的 top-$k$ 上下文老虎机中的可扩展性挑战。
• 克服标准算法在动作总数 $A$ 增大时计算与遗憾效率低下的问题。
• 引入一种实用的动作层级模型，以利用奖励函数中的结构相关性，提升统计与计算效率。
• 在保持每步 $\tilde{O}(A)$ 计算复杂度的同时，实现遗憾与 $A$ 的次线性依赖。
• 在具有海量动作数的真实 eXtreme 多标签分类数据集上展示其经验优越性。

提出的方法

• 利用 PIFA 得到的标签嵌入，通过递归二均值聚类在动作空间上构建分层树结构，将语义相似的动作分组。
• 在每个内部节点定义路由函数，作为在小部分保留数据集上训练的一对多线性分类器，以指导动作选择。
• 将逆差距加权（IGW）策略扩展至多动作设置，用于在每个时间步选择 $k$ 个动作，结合分层探索机制。
• 在每个节点与叶节点训练线性回归模型（$\tilde{f}(x,\tilde{a}) = \nu_{\tilde{a}}^T[x;1]$），利用在线反馈进行奖励估计。
• 在树上实施束搜索以识别有效动作，当选择非叶节点时，从其子树中进行随机采样。
• 使用 C++ 与 Eigen 实现高效推理，支持在大规模数据集上的低延迟部署。

实验结果

研究问题

• RQ1 动作空间中的分层结构是否能减少每个上下文下实际考虑的动作数，从而提升计算与统计效率？
• RQ2 逆差距加权（IGW）策略如何扩展以支持 eXtreme 上下文老虎机问题中的 top-$k$ 动作选择？
• RQ3 所提算法在 eXtreme 场景下的理论遗憾界是什么？其与 $A$、$k$ 和 $T$ 的依赖关系如何？
• RQ4 该分层模型是否能在不牺牲遗憾性能的前提下，实现在大规模数据集上的实际加速（如推理时间）？
• RQ5 在真实世界多标签数据集上，该算法与标准基线方法（如 $\epsilon$-greedy、Boltzmann、IGW）相比，在遗憾与推理效率方面表现如何？

主要发现

• 所提算法在 eXtreme 场景下的遗憾界为 $O(k\sqrt{(\log A - k + 1)T\log(|\mathcal{F}|T)})$，对 $A$ 的依赖为对数级，而非线性。
• 在 300 万动作的数据集上，平均推理时间降低至 7.9 毫秒，相比基线方法提速 100 倍。
• 分层结构显著减少了每个上下文下相关动作的数量，从而提升了效率与可扩展性。
• 在 Eurlex-4k 数据集上进行超参数调优后，得到最优参数：$C=1.0$、$\beta=1.0$、$\epsilon=0.167$（分别对应各基线方法）。
• 在模拟老虎机反馈实验中，该算法优于标准基线，展现出在大规模多标签数据集上更优的遗憾与推理性能。
• 该方法在保持理论遗憾保证的同时实现了实际效率，弥合了 eXtreme 上下文老虎机中理论与真实部署之间的差距。