[论文解读] Online Learning to Rank in Stochastic Click Models

Masrour Zoghi, Tomáš Tunys+4 more|arXiv (Cornell University)|Mar 7, 2017

Advanced Bandit Algorithms Research参考文献 22被引用 41

一句话总结

本文提出了 BatchRank，这是首个适用于广泛类别的随机点击模型（包括级联模型和基于位置的模型）的在线学习排序算法。它提供了基于差距的遗憾上界，并在鲁棒性和性能方面在真实网络搜索查询中优于现有方法，如排序Bandits和CascadeKL-UCB。

ABSTRACT

Online learning to rank is a core problem in information retrieval and machine learning. Many provably efficient algorithms have been recently proposed for this problem in specific click models. The click model is a model of how the user interacts with a list of documents. Though these results are significant, their impact on practice is limited, because all proposed algorithms are designed for specific click models and lack convergence guarantees in other models. In this work, we propose BatchRank, the first online learning to rank algorithm for a broad class of click models. The class encompasses two most fundamental click models, the cascade and position-based models. We derive a gap-dependent upper bound on the $T$-step regret of BatchRank and evaluate it on a range of web search queries. We observe that BatchRank outperforms ranked bandits and is more robust than CascadeKL-UCB, an existing algorithm for the cascade model.

研究动机与目标

• 为解决在多样化点击模型下缺乏可泛化的在线学习排序算法的问题。
• 开发一种统一的算法，适用于基本点击模型（如级联模型和基于位置的模型）。
• 为所提出的算法提供基于模型差距的理论遗憾保证。
• 在真实网络搜索查询上评估该算法的性能和鲁棒性。

提出的方法

• BatchRank 针对一类广泛的随机点击模型设计，包括级联模型和基于位置的模型。
• 该算法采用批量更新机制，以提升在线学习中的样本效率和稳定性。
• 它推导出一个基于差距的遗憾上界，用于量化在 T 步内的性能表现。
• 该方法利用用户点击反馈，实时迭代更新文档排序结果。
• 理论分析在点击行为满足弱假设的前提下，建立了收敛性和遗憾上界。

实验结果

研究问题

• RQ1 能否设计一种单一的在线学习排序算法，在多种基本点击模型上均表现有效？
• RQ2 对于此类通用算法，可推导出何种理论遗憾上界？
• RQ3 在实际应用中，该算法与现有针对特定模型的方法相比性能如何？
• RQ4 在不同点击模型假设下，该算法是否比以往方法更具鲁棒性？

主要发现

• BatchRank 在 T 步内实现了基于差距的遗憾上界，为算法的收敛性提供了理论依据。
• 实验评估表明，BatchRank 在多个网络搜索查询中，其排序质量优于排序Bandits。
• 与现有级联模型专用算法 CascadeKL-UCB 相比，BatchRank 展现出更强的鲁棒性。
• 该算法能有效泛化至级联模型和基于位置的点击模型，而以往方法通常仅适用于单一模型。