[论文解读] Stochastic Low-Rank Bandits

Branislav Kveton, Csaba Szepesvári+4 more|arXiv (Cornell University)|Dec 13, 2017

Advanced Bandit Algorithms Research参考文献 11被引用 17

一句话总结

本文提出了一种新颖的随机低秩上下文 bandit 框架，用于在存在未观测到的潜在因子的情况下识别低秩矩阵中的最大条目。它提出了 ${\tt LowRankElim}$ 算法，通过在行和列的 $d$-子集上进行结构化消除，实现了与 $KL$ 无关的遗憾界 $O((K+L)\operatorname{poly}(d)\Delta^{-1}\log n)$，这是该设置下的首个此类结果。

ABSTRACT

Many problems in computer vision and recommender systems involve low-rank matrices. In this work, we study the problem of finding the maximum entry of a stochastic low-rank matrix from sequential observations. At each step, a learning agent chooses pairs of row and column arms, and receives the noisy product of their latent values as a reward. The main challenge is that the latent values are unobserved. We identify a class of non-negative matrices whose maximum entry can be found statistically efficiently and propose an algorithm for finding them, which we call LowRankElim. We derive a $\DeclareMathOperator{\poly}{poly} O((K + L) \poly(d) Δ^{-1} \log n)$ upper bound on its $n$-step regret, where $K$ is the number of rows, $L$ is the number of columns, $d$ is the rank of the matrix, and $Δ$ is the minimum gap. The bound depends on other problem-specific constants that clearly do not depend $K L$. To the best of our knowledge, this is the first such result in the literature.

研究动机与目标

• 解决在未观测到潜在行和列因子的情况下识别随机低秩矩阵中最大条目的挑战。
• 在非负低秩结构下，设计一种在统计和计算上均高效的算法来解决该问题。
• 推导出一个在 $n$ 上对数增长、在最小间隙 $\Delta$ 上反比增长的遗憾界，同时避免对 $KL$ 的依赖。
• 建立首个在无一致性假设下，针对随机低秩矩阵补全问题的间隙相关遗憾界。

提出的方法

• 该算法假设所有行和列因子均可表示为 $d$ 个基因子的凸组合，形成一种“热门主题”结构。
• 在每个阶段，${\tt LowRankElim}$ 通过采样其潜在值乘积来探索所有剩余的行和列的 $d$-子集，以估计期望奖励。
• 它利用统计置信区间，迭代地消除次优的行和列 $d$-子集，集中关注最有希望的候选者。
• 该方法依赖于通过重复采样来估计 $d$-子集对的期望奖励，利用奖励是潜在行值与列值乘积的事实。
• 该算法维护估计奖励的置信区间，并消除其估计奖励显著低于最佳观测值的任何 $d$-子集对。
• 分析引入了一种新的间隙概念，定义为最优与次优 $d$-子集奖励之间的最小差值，从而实现紧密的遗憾控制。

实验结果

研究问题

• RQ1 当潜在因子未被观测到时，能否高效识别随机低秩矩阵的最大条目？
• RQ2 在非负低秩结构下，是否存在一种计算和样本高效的算法来解决此问题？
• RQ3 能否推导出一个不随 $KL$（行数与列数的乘积）增长的间隙相关遗憾界？
• RQ4 在该设置下，为实现统计效率，对潜在因子的结构假设需要满足什么必要和充分条件？

主要发现

• 所提出的 ${\tt LowRankElim}$ 算法实现了 $O((K+L)\operatorname{poly}(d)\Delta^{-1}\log n)$ 的遗憾界，这是随机低秩 bandit 问题中的首个此类结果。
• 遗憾界仅依赖于 $K$、$L$、$d$、$\Delta$ 和 $n$ 的对数项，且对 $KL$ 没有显式依赖。
• 当秩 $d$ 较小时（如 $d \leq 4$），该算法在计算和样本上均高效。
• 该分析无需对矩阵施加一致性假设，使该问题与标准矩阵补全问题区分开来。
• 关键洞见是：最优条目位于 $d$ 个基行和列因子的凸包内，从而支持结构化消除。
• 本文提出了一种新的间隙概念，用于捕捉最优与次优 $d$-子集奖励之间的差异，从而实现紧密的遗憾控制。