[论文解读] Ranked bandits in metric spaces: learning optimally diverse rankings over large document collections

Aleksandrs Slivkins, Filip Radlinski+1 more|arXiv (Cornell University)|May 28, 2010

Advanced Bandit Algorithms Research参考文献 26被引用 12

一句话总结

本文提出了一种新颖的上下文 bandit 排序学习框架，通过度量空间中的文档相似性来优化多样且非冗余的排序结果，从而最小化查询放弃率。通过将排序 bandit 与 Lipschitz bandit 结合，引入条件 Lipschitz 连续性概念，作者提出了一种理论基础扎实、可扩展的算法，在大规模文档集合上的学习速度显著快于以往方法。

ABSTRACT

Most learning to rank research has assumed that the utility of different documents is independent, which results in learned ranking functions that return redundant results. The few approaches that avoid this have rather unsatisfyingly lacked theoretical foundations, or do not scale. We present a learning-to-rank formulation that optimizes the fraction of satisfied users, with several scalable algorithms that explicitly takes document similarity and ranking context into account. Our formulation is a non-trivial common generalization of two multi-armed bandit models from the literature: "ranked bandits" (Radlinski et al., ICML 2008) and "Lipschitz bandits" (Kleinberg et al., STOC 2008). We present theoretical justifications for this approach, as well as a near-optimal algorithm. Our evaluation adds optimizations that improve empirical performance, and shows that our algorithms learn orders of magnitude more quickly than previous approaches.

研究动机与目标

• 通过在在线学习中引入文档相似性，解决排序冗余问题。
• 为大规模文档集合开发一种理论可靠且可扩展的算法，通过多样性感知排序最小化查询放弃率。
• 通过引入条件 Lipschitz 连续性作为用户点击行为在文档相似性下的模型，统一排序 bandit 与 Lipschitz bandit。
• 为信息检索中的多样性感知在线学习提供正式的理论基础，特别是在度量空间中。
• 通过自适应划分和反馈机制，利用文档之间的结构相似性，实现在线学习排序的更快收敛。

提出的方法

• 提出一种新型 bandit 模型，结合排序 bandit 与 Lipschitz bandit，使用度量空间表示文档相似性。
• 引入条件 Lipschitz 连续性的概念，即即使在对先前跳过的文档进行条件化后，点击概率仍保持 Lipschitz 连续。
• 设计一种近似最优的算法，自适应地将度量空间划分为区域（元臂），随时间细化高回报区域。
• 采用类似 zooming 的策略，根据观测反馈动态细化划分，提升样本效率。
• 使用度量空间的树形表示，并应用条件概率界，确保点击概率估计的单调改进。
• 通过一个构造性用户行为模型验证模型，该模型可证明满足条件 Lipschitz 条件。

实验结果

研究问题

• RQ1 能否利用度量空间中的文档相似性来提升在线学习排序算法的样本效率？
• RQ2 条件 Lipschitz 连续性是否为排序搜索结果中用户点击行为提供了一种现实且可处理的建模方式？
• RQ3 一种利用度量结构的 bandit 算法能否显著快于非相似性感知的基线方法实现收敛？
• RQ4 在确保可扩展至大规模文档集合的同时，如何维持对遗憾的理论保证？
• RQ5 是否可能设计一种学习算法，明确促进结果多样性，同时最小化查询放弃率？

主要发现

• 所提出的模型基于条件 Lipschitz 连续性，可导出一个可证明近似最优的算法，且可扩展至大规模文档集合。
• 理论分析表明，该算法实现了次线性遗憾，通过利用度量结构显著提升了收敛速率。
• 实验评估表明，该算法的学习速度比以往方法快几个数量级，尤其在高维或大规模场景下表现突出。
• 构建一个满足条件 Lipschitz 条件的用户行为模型，为该模型的表达力和现实性提供了有力证据。
• 类似 zooming 的划分策略能有效细化点击率更高的区域，从而实现更快收敛和更优性能。
• 理论结果，包括条件概率不等式和基于归纳的证明，验证了在该模型下点击概率估计的单调改进。