[论文解读] Sparse Dueling Bandits

Kevin Jamieson, Sumeet Katariya+2 more|arXiv (Cornell University)|Jan 31, 2015

Advanced Bandit Algorithms Research参考文献 5被引用 6

一句话总结

该论文提出了一种新型双臂赌博机算法 SECS（Successive Elimination with Comparison Sparsity），通过利用成对比较矩阵中的结构性稀疏性，显著降低了识别 Borda 候选者所需的样本复杂度。通过仅聚焦于一小部分有信息量的‘比较’臂进行比较，SECS 在实际应用中实现了近线性样本复杂度，优于标准 Borda 约简方法在臂数量增加时呈现的二次方复杂度，尤其在 MSLR-WEB10k 和 MQ2008 等真实数据集上表现更优。

ABSTRACT

The dueling bandit problem is a variation of the classical multi-armed bandit in which the allowable actions are noisy comparisons between pairs of arms. This paper focuses on a new approach for finding the "best" arm according to the Borda criterion using noisy comparisons. We prove that in the absence of structural assumptions, the sample complexity of this problem is proportional to the sum of the inverse squared gaps between the Borda scores of each suboptimal arm and the best arm. We explore this dependence further and consider structural constraints on the pairwise comparison matrix (a particular form of sparsity natural to this problem) that can significantly reduce the sample complexity. This motivates a new algorithm called Successive Elimination with Comparison Sparsity (SECS) that exploits sparsity to find the Borda winner using fewer samples than standard algorithms. We also evaluate the new algorithm experimentally with synthetic and real data. The results show that the sparsity model and the new algorithm can provide significant improvements over standard approaches.

研究动机与目标

• 为解决现有双臂赌博机算法在识别 Borda 候选者时样本复杂度过高的问题，特别是在具有大量臂的大规模场景下。
• 开发一种方法，利用成对比较矩阵中的结构性稀疏性——即仅有少数顶级臂在性能上存在显著差异——且不依赖 Condorcet 候选者假设。
• 设计一种算法，通过利用稀疏比较结构，实现比朴素约简为标准多臂赌博机更优的理论样本复杂度。
• 在合成数据集和真实世界数据集（包括网络搜索排序应用）上验证所提方法的理论优势。

提出的方法

• SECS 算法使用一组稀疏的‘比较’臂，通过连续的成对比较评估并淘汰次优臂，从而减少对完整成对比较的依赖。
• 该方法假设顶级臂可通过其与一组固定小规模比较臂的性能表现加以区分，并在算法设计中显式建模这种稀疏性。
• 算法基于与这些稀疏参考臂的比较结果执行连续淘汰，且在 Borda 准则下保持理论保证。
• 理论分析表明，在相同的稀疏性假设下，SECS 在 P1 合成矩阵上的样本复杂度为 O(n log n)，而 Borda 约简方法为 O(n² log n)。
• 该方法对模型不一致性具有鲁棒性，且无需存在 Condorcet 候选者，因此适用于真实世界偏好数据。
• 实验通过蒙特卡洛模拟从真实数据集中估计偏好矩阵，然后在不同 k 值（比较臂数量）下对比 SECS 与 Borda 约简（BR）方法。

实验结果

研究问题

• RQ1 能否利用成对比较矩阵中的结构性稀疏性，降低双臂赌博机中识别 Borda 候选者的样本复杂度？
• RQ2 在稀疏性假设下，SECS 的样本复杂度与标准 Borda 约简方法相比如何？
• RQ3 在真实世界数据集中，当不存在 Condorcet 候选者时，SECS 算法是否仍能保持高精度？
• RQ4 改变比较臂数量（k）对 SECS 的性能和样本复杂度有何影响？
• RQ5 在缺乏结构性假设的情况下，Borda 约简方法是否本质上是最优的？还是基于稀疏性的算法能实现显著更优的性能？

主要发现

• 在 P1 合成矩阵上，SECS 的样本复杂度斜率在对数-对数尺度下约为 1，验证了其 O(n log n) 的理论边界；而 Borda 约简的斜率接近 2，验证了 O(n² log n) 的复杂度。
• 在 MSLR-WEB10k 数据集的实验中，使用小 k 值的 SECS 识别 Borda 候选者所用比较次数最多仅为 Borda 约简方法的一半。
• 在 MQ2008 数据集上，使用小 k 值的 SECS 同样表现出显著的样本复杂度降低，仅当 k 增大时性能才接近 Borda 约简方法。
• 在两个真实数据集中 Borda 候选者均存在，但在 MSLR-WEB10k 中不存在 Condorcet 候选者，这凸显了使用 Borda 准则的实际优势。
• 尽管具有理论保证，SECS 在两个数据集的全部 75 次试验中均未出现错误，即使在小 k 值下也表现出极强的实证鲁棒性。
• 理论分析确认，在缺乏结构性假设的情况下，Borda 约简方法本质上是最优的，建立了下界；而当存在稀疏性时，SECS 能够在此下界之上实现显著改进。