[论文解读] Stochastic Rank-1 Bandits

Sumeet Katariya, Branislav Kveton+3 more|arXiv (Cornell University)|Aug 10, 2016

Advanced Bandit Algorithms Research参考文献 16被引用 9

一句话总结

本文提出了随机秩-1上下文Bandit问题，这是一种新型在线学习问题，其中智能体选择行臂和列臂以最大化其未观测到的、随机的值的乘积。所提出的 ${\tt Rank1Elim}$ 算法基于对行和列奖励的估计，采用淘汰策略，实现了 $O((K+L)(1/\Delta)\log n)$ 的遗憾上界，这是在有界均值奖励下首次实现 $K+L$ 和 $1/\Delta$ 线性依赖关系的结果。

ABSTRACT

We propose stochastic rank-$1$ bandits, a class of online learning problems where at each step a learning agent chooses a pair of row and column arms, and receives the product of their values as a reward. The main challenge of the problem is that the individual values of the row and column are unobserved. We assume that these values are stochastic and drawn independently. We propose a computationally-efficient algorithm for solving our problem, which we call Rank1Elim. We derive a $O((K + L) (1 / Δ) \log n)$ upper bound on its $n$-step regret, where $K$ is the number of rows, $L$ is the number of columns, and $Δ$ is the minimum of the row and column gaps; under the assumption that the mean row and column rewards are bounded away from zero. To the best of our knowledge, we present the first bandit algorithm that finds the maximum entry of a rank-$1$ matrix whose regret is linear in $K + L$, $1 / Δ$, and $\log n$. We also derive a nearly matching lower bound. Finally, we evaluate Rank1Elim empirically on multiple problems. We observe that it leverages the structure of our problems and can learn near-optimal solutions even if our modeling assumptions are mildly violated.

研究动机与目标

• 形式化一种新的在线学习问题——随机秩-1上下文Bandit问题，其中奖励是未观测到的、独立的行与列值的乘积。
• 设计一种计算高效的算法 ${\tt Rank1Elim}$，通过基于估计奖励的迭代淘汰次优臂，识别出最优的行-列配对。
• 在行和列奖励的均值远离零的假设下，建立 $O((K+L)(1/\Delta)\log n)$ 的间隙依赖遗憾上界。
• 推导出一个近乎匹配的间隙依赖遗憾下界，证明上界具有紧致性。
• 在合成数据与真实世界问题（包括接近秩-1的评分矩阵）上对 ${\tt Rank1Elim}$ 进行实证评估，表明其在轻微模型误设下仍具鲁棒性。

提出的方法

• 该算法维护活跃行与列的集合，并通过与对方集合的所有组合采样来估计每行与每列的期望奖励。
• 在每个淘汰阶段，根据置信区间，将估计奖励低于阈值的行与列移除。
• 利用Hoeffding不等式推导淘汰阈值，以确保对奖励估计的高概率置信度。
• 算法以阶段形式运行，每个阶段逐步减少活跃臂的集合，直至收敛到近似最优解。
• 遗憾分析依赖于对次优臂被拉动次数的上界控制，利用最优臂与次优臂之间的间隙 $\Delta$。
• 下界通过将问题约化为一个精心设计的多臂老虎机问题实例来构造，以匹配上界量级。

实验结果

研究问题

• RQ1 能否为随机秩-1上下文Bandit问题设计一种计算高效的算法，其中仅能观测到未观测到的行与列值的乘积？
• RQ2 该问题的最优遗憾量级为何？能否通过实用算法实现？
• RQ3 ${\tt Rank1Elim}$ 在模型假设轻微违反时（如在高秩矩阵中）的实际表现如何，例如在更高秩的矩阵中？
• RQ4 所推导的遗憾上界是否紧致？能否建立一个近乎匹配的下界？
• RQ5 该算法能否推广至真实世界应用，如在线广告与基于位置的排名任务，其中奖励是独立因素的乘积？

主要发现

• ${\tt Rank1Elim}$ 算法实现了 $O((K+L)(1/\Delta)\log n)$ 的遗憾上界，这是在有界均值奖励下首次实现 $K+L$ 与 $1/\Delta$ 线性依赖关系的结果。
• 推导出一个近乎匹配的间隙依赖遗憾下界，证实该遗憾量级在对数因子范围内基本最优。
• 实证评估表明，即使奖励矩阵并非精确秩-1（如在真实世界电影评分数据集中，秩为5但具有强秩-1结构），${\tt Rank1Elim}$ 仍能学习到近似最优解。
• 该算法的遗憾曲线随时间趋于平缓，表明其学习效率高；而基线方法如UCB1由于臂的数量庞大，仍持续探索。
• 尽管理论保证基于秩-1假设，${\tt Rank1Elim}$ 在相对简单但非最优的问题中仍表现良好，表明其对模型误设具有鲁棒性。
• 在遗憾量级与实际性能方面，该算法均优于基线方法，尤其在结构化、低秩设置中表现更优。