[论文解读] Refining Recency Search Results with User Click Feedback

Taesup Moon, Wei Chu+3 more|arXiv (Cornell University)|Mar 19, 2011

Advanced Bandit Algorithms Research参考文献 23被引用 3

一句话总结

本文提出了一种基于用户点击反馈的实时重排序方法，用于时效性搜索，以使排名模型能够快速适应用户意图的变化。通过利用随机探索桶收集无偏见的点击数据，作者训练了在线学习模型，根据点击率动态调整文档排名，与静态的、基于编辑判断训练的模型相比，显著提升了对时间敏感查询的相关性。

ABSTRACT

Traditional machine-learned ranking systems for web search are often trained to capture stationary relevance of documents to queries, which has limited ability to track non-stationary user intention in a timely manner. In recency search, for instance, the relevance of documents to a query on breaking news often changes significantly over time, requiring effective adaptation to user intention. In this paper, we focus on recency search and study a number of algorithms to improve ranking results by leveraging user click feedback. Our contributions are three-fold. First, we use real search sessions collected in a random exploration bucket for \emph{reliable} offline evaluation of these algorithms, which provides an unbiased comparison across algorithms without online bucket tests. Second, we propose a re-ranking approach to improve search results for recency queries using user clicks. Third, our empirical comparison of a dozen algorithms on real-life search data suggests importance of a few algorithmic choices in these applications, including generalization across different query-document pairs, specialization to popular queries, and real-time adaptation of user clicks.

研究动机与目标

• 为解决时效性搜索中用户意图快速演变的挑战，其中文档的相关性随时间变化。
• 通过利用实时用户点击反馈而非仅依赖静态编辑判断，提升时间敏感查询的排序质量。
• 开发并评估一种能够基于在线学习动态适应文档相关性时间变化的重排序系统。
• 为使用随机探索桶的在线学习算法在网页搜索中的可靠离线评估框架提供支持。
• 识别出对性能有显著影响的关键算法选择，如跨查询-文档对的泛化能力以及实时适应机制。

提出的方法

• 在实际商业搜索引擎中实施了随机探索桶，通过随机调换部分时效性分类查询的前四条结果，以收集无偏见的用户点击数据。
• 使用特征的线性组合对查询-文档对的点击率（CTR）进行建模，包括基于编辑判断系统的基线排序得分。
• 基于真实用户点击反馈训练在线学习算法，实现实时动态更新排序参数，以适应用户偏好的变化。
• 对现有时效性排序函数的输出应用重排序方法，基于从点击数据中推断出的CTR预测结果对结果进行优化。
• 评估框架允许在无需在线A/B测试的情况下对多种算法进行离线比较，确保无偏见的性能评估。
• 系统同时包含全局模型以实现泛化能力，以及针对查询-文档对的特定偏差项，以在热门查询与长尾查询之间实现性能平衡。

实验结果

研究问题

• RQ1 如何有效利用用户点击反馈来提升时间敏感、基于时效性的查询的排序质量？
• RQ2 在动态时效性排序中，哪些算法选择——如泛化、专业化和实时适应——对性能影响最大？
• RQ3 随机探索桶能否为网页搜索中的在线学习算法提供可靠且无偏见的评估机制？
• RQ4 基于点击反馈的在线学习与使用编辑判断的批量学习相比，在时效性查询的排序质量上表现如何？
• RQ5 在同时建模全局与查询特定组件的情况下，CTR建模对多样化查询分布下的排序性能有何影响？

主要发现

• 与静态的、基于编辑判断训练的模型相比，使用实时点击反馈显著提升了时效性查询的排序质量。
• 能够实时自适应的在线学习算法优于批量处理方法，证明了动态适应用户意图变化的重要性。
• 在查询-文档对之间实现泛化能力以及对热门查询进行专业化处理，被识别为在完整查询分布上实现有效性能的关键因素。
• 随机探索桶提供了一种可靠的离线评估机制，消除了位置偏差，并可在无需在线A/B测试的情况下实现对在线学习算法的无偏比较。
• 在399,880次搜索会话上的实证评估表明，基于CTR的在线学习重排序显著提升了时间敏感查询的排序有效性。
• 本研究证明，用户点击数据能够捕捉人类编辑难以预见或准确标注的细微且快速演变的相关性变化。