[论文解读] Query Chains: Learning to Rank from Implicit Feedback

Filip Radlinski, Thorsten Joachims|ArXiv.org|May 8, 2006

Advanced Database Systems and Queries参考文献 20被引用 29

一句话总结

本文提出查询链（Query Chains）方法，通过利用搜索日志中的用户查询序列与点击行为，从隐式反馈中学习排序函数。通过检测查询链并推断会话中文档间的相对相关性判断，该方法在真实搜索引擎（Osmot）和用户研究中均验证了其优于静态或独立训练模型的排序性能。

ABSTRACT

This paper presents a novel approach for using clickthrough data to learn ranked retrieval functions for web search results. We observe that users searching the web often perform a sequence, or chain, of queries with a similar information need. Using query chains, we generate new types of preference judgments from search engine logs, thus taking advantage of user intelligence in reformulating queries. To validate our method we perform a controlled user study comparing generated preference judgments to explicit relevance judgments. We also implemented a real-world search engine to test our approach, using a modified ranking SVM to learn an improved ranking function from preference data. Our results demonstrate significant improvements in the ranking given by the search engine. The learned rankings outperform both a static ranking function, as well as one trained without considering query chains.

研究动机与目标

• 解决在缺乏显式相关性反馈的情况下，学习有效网络搜索排序函数的挑战。
• 通过利用搜索会话中用户查询重写模式，克服独立查询处理的局限性。
• 利用点击日志中的隐式反馈，生成跨多个查询与文档的偏好判断。
• 开发一种更具通用性的排序模型，即使查询词未在文档中出现，也能将文档与查询词关联。
• 在真实世界搜索系统中验证该方法的有效性，并通过受控用户研究验证偏好判断的质量。

提出的方法

• 从搜索引擎日志中检测查询链，通过识别相关查询序列及其关联的点击行为。
• 通过比较查询链中不同查询的文档相关性，生成偏好判断，假设后续查询对早期查询进行了细化或修正。
• 使用改进的排序SVM，从这些推断出的偏好判断中学习排序函数。
• 使模型能够学习查询词与文档之间的相关性，即使这些词未在文档文本中共同出现。
• 将该方法应用于康奈尔大学的真实网络搜索系统（Osmot），以评估性能提升。
• 通过受控用户研究，将推断出的偏好判断与显式相关性判断进行比较，以验证其质量。

实验结果

研究问题

• RQ1 能否从日志数据中可靠地检测到搜索会话中用户查询的序列（查询链）？
• RQ2 从查询链中推断出的偏好判断是否能为学习排序函数提供有效且有用的信号？
• RQ3 基于这些推断偏好训练的排序学习模型，是否能优于基于独立查询或静态排序训练的模型？
• RQ4 该模型在检索最初不在查询结果前列的文档方面，其泛化能力如何？
• RQ5 该方法对噪声（如点击刷单或模糊查询词）的鲁棒性如何？

主要发现

• 该方法成功从真实世界搜索日志中检测到查询链，揭示了拼写纠正和查询细化等模式。
• 通过受控用户研究验证，从查询链中推断出的偏好判断具有可靠性，与显式相关性判断表现出高度一致性。
• 在查询链数据上训练的Osmot搜索引擎，显著优于静态排序函数以及未使用查询链信息训练的模型。
• 所学习的模型成功检索到最初不在结果前列的相关文档——例如，将"ndlf"的检索结果改进为与"National Digital Library Foundation"相似的结果。
• 该系统能够基于跨查询链的用户行为，学习将不相关结果（如一篇关于"instruction"的文档）从原本的高排名中降级。
• 该方法展示了学习通用排序函数的能力，即使查询词未在文档文本中出现，也能将查询词与文档关联。