[论文解读] PAC Battling Bandits in the Plackett-Luce Model

Aadirupa Saha, Aditya Gopalan|arXiv (Cornell University)|Aug 12, 2018

Advanced Bandit Algorithms Research被引用 9

一句话总结

本文在 Plackett-Luce 模型下提出了一个 PAC 战斗-Bandit 框架，其中学习者选择大小为 $k$ 的臂的子集，并观察胜者或前 $m$ 名排名的反馈。研究表明，在胜者反馈下，样本复杂度保持为 $O(n/ε^2 ln(1/ δ))$，与 $k$ 无关；而在前 $m$ 名排名反馈下，样本复杂度降低至 $ Omega(n/(m e^2) ln(1/ δ))$，在统计效率上实现了 $m$ 倍的提升。

ABSTRACT

We introduce the probably approximately correct (PAC) \emph{Battling-Bandit} problem with the Plackett-Luce (PL) subset choice model--an online learning framework where at each trial the learner chooses a subset of $k$ arms from a fixed set of $n$ arms, and subsequently observes a stochastic feedback indicating preference information of the items in the chosen subset, e.g., the most preferred item or ranking of the top $m$ most preferred items etc. The objective is to identify a near-best item in the underlying PL model with high confidence. This generalizes the well-studied PAC \emph{Dueling-Bandit} problem over $n$ arms, which aims to recover the \emph{best-arm} from pairwise preference information, and is known to require $O(\frac{n}{ε^2} \ln \frac{1}δ)$ sample complexity \citep{Busa_pl,Busa_top}. We study the sample complexity of this problem under various feedback models: (1) Winner of the subset (WI), and (2) Ranking of top-$m$ items (TR) for $2\le m \le k$. We show, surprisingly, that with winner information (WI) feedback over subsets of size $2 \leq k \leq n$, the best achievable sample complexity is still $O\left( \frac{n}{ε^2} \ln \frac{1}δ ight)$, independent of $k$, and the same as that in the Dueling Bandit setting ($k=2$). For the more general top-$m$ ranking (TR) feedback model, we show a significantly smaller lower bound on sample complexity of $Ω\bigg( \frac{n}{mε^2} \ln \frac{1}δ\bigg)$, which suggests a multiplicative reduction by a factor ${m}$ owing to the additional information revealed from preferences among $m$ items instead of just $1$. We also propose two algorithms for the PAC problem with the TR feedback model with optimal (upto logarithmic factors) sample complexity guarantees, establishing the increase in statistical efficiency from exploiting rank-ordered feedback.

研究动机与目标

• 在 Plackett-Luce 选择模型下，形式化战斗 Bandit 设置中的 PAC 学习目标，旨在以高概率识别出一个 $\epsilon$-近似最优的臂。
• 分析子集大小 $k$ 和反馈结构（胜者 vs. 前 $m$ 名排名）对基于子集偏好反馈的样本复杂度的影响。
• 建立信息论下界，并为前 $m$ 名排名反馈模型设计最优算法。
• 证明排名有序反馈相较于仅胜者反馈可显著提升统计效率。

提出的方法

• 提出一个基于 Plackett-Luce 偏好的 PAC 战斗 Bandit 问题，学习者选择大小为 $k$ 的子集，并观察随机偏好反馈。
• 推导出胜者反馈的信息论下界为 $\Omega(n/\epsilon^2 \ln(1/\delta))$，表明子集大小 $k$ 增大不会带来性能提升。
• 引入前 $m$ 名排名（TR）反馈模型，学习者可观察到子集中最被偏好的 $m$ 个项目的有序偏好。
• 设计了两种针对 TR 反馈模型的算法，其样本复杂度在对数因子内匹配下界。
• 利用中位数消除和置信区间估计技术，基于估计的 Plackett-Luce 参数迭代消除次优臂。
• 采用集中不等式和事件分解方法，控制失败概率，确保最终输出具有 $1-\delta$ 的置信度。

实验结果

研究问题

• RQ1 在胜者反馈的 PAC 战斗 Bandit 问题中，使用更大的子集（$k > 2$）是否能改善样本复杂度？
• RQ2 相较于仅胜者反馈，前 $m$ 名排名反馈（$2 \leq m \leq k$）如何降低样本复杂度？
• RQ3 通过观察 $m$ 个项目的排名反馈，是否能带来样本复杂度的乘法级改进？
• RQ4 在 Plackett-Luce 模型下，使用子集反馈时，识别一个 $\epsilon$-最优臂的最优样本复杂度是多少？
• RQ5 能否设计出能实现 TR 反馈模型信息论下界的算法？

主要发现

• 在胜者反馈（WI）下，样本复杂度为 $\Omega(n/\epsilon^2 \ln(1/\delta))$，与双人对决 Bandit 设置一致，且与子集大小 $k$ 无关。
• 对于前 $m$ 名排名反馈（TR），样本复杂度的下界为 $\Omega(n/(m\epsilon^2) \ln(1/\delta))$，显示出 $m$ 倍的乘法增益。
• 所提出的算法在对数因子内达到下界，证明了 TR 反馈模型的顺序最优性。
• 基于中位数消除的算法即使在 $k$ 可变时，仍能实现 $O(n/\epsilon^2 \ln(1/\delta))$ 的样本复杂度，优于先前的 PAC-双人对决 Bandit 边界。
• 分析表明，反馈丰富度的提升（从 1 个到 $m$ 个排名项）显著增强了学习效率，样本需求明确减少 $m$ 倍。
• 通过在迭代消除步骤中仔细使用并集界和置信区间控制，失败概率被限制在 $\delta$ 以内。