[论文解读] Personalized Query Auto-Completion Through a Lightweight Representation of the User Context

Manojkumar Rangasamy Kannadasan, Grigor Aslanyan|arXiv (Cornell University)|May 3, 2019

Information Retrieval and Search Behavior被引用 4

一句话总结

本文提出了一种轻量级、可扩展的方法，通过使用 fastText 基于用户上下文查询的嵌入表示来衡量与候选补全项之间的语义相似性，实现个性化查询自动补全。通过将这些基于嵌入的特征整合到 LambdaMART 排序模型中，该方法在包含用户上下文的会话中，相较于最常用补全（Most Popular Completion）基线模型实现了 20–30% 的性能提升，相较于基线排序器最高实现 10% 的性能提升，优于基于文本的个性化特征。

ABSTRACT

Query Auto-Completion (QAC) is a widely used feature in many domains, including web and eCommerce search, suggesting full queries based on a prefix typed by the user. QAC has been extensively studied in the literature in the recent years, and it has been consistently shown that adding personalization features can significantly improve the performance of QAC. In this work we propose a novel method for personalized QAC that uses lightweight embeddings learnt through fastText. We construct an embedding for the user context queries, which are the last few queries issued by the user. We also use the same model to get the embedding for the candidate queries to be ranked. We introduce ranking features that compute the distance between the candidate queries and the context queries in the embedding space. These features are then combined with other commonly used QAC ranking features to learn a ranking model. We apply our method to a large eCommerce search engine (eBay) and show that the ranker with our proposed feature significantly outperforms the baselines on all of the offline metrics measured, which includes Mean Reciprocal Rank (MRR), Success Rate (SR), Mean Average Precision (MAP), and Normalized Discounted Cumulative Gain (NDCG). Our baselines include the Most Popular Completion (MPC) model as well as a ranking model without our proposed features. The ranking model with the proposed features results in a $20-30\\%$ improvement over the MPC model on all metrics. We obtain up to a $5\\%$ improvement over the baseline ranking model for all the sessions, which goes up to about $10\\%$ when we restrict to sessions that contain the user context. Moreover, our proposed features also significantly outperform text based personalization features studied in the literature before, and adding text based features on top of our proposed embedding based features results only in minor improvements.

研究动机与目标

• 通过利用用户最近查询的上下文信息，提升查询自动补全的个性化程度。
• 开发一种基于 fastText 嵌入的可扩展、轻量级用户上下文表示方法，用于语义相似性建模。
• 将这些嵌入表示整合到学习排序框架中，以实现更好的候选查询排序。
• 评估基于嵌入的特征与传统基于文本的个性化特征相比的有效性。
• 在大规模商业搜索引擎（eBay）上展示显著的离线指标性能提升。

提出的方法

• 用户上下文被表示为用户最近发出的若干查询组成的序列，作为单一文档进行嵌入学习。
• 使用 fastText 学习用户上下文查询和候选查询的稠密、子词感知的向量表示。
• 计算用户上下文嵌入与每个候选查询嵌入之间的余弦相似度，作为关键排序特征。
• 将这些基于嵌入的特征与标准 QAC 排序特征（如流行度、时间敏感性等）结合，输入 LambdaMART 排序器。
• 在大规模 eBay 搜索数据集上训练和评估模型，并对特征贡献进行消融研究。
• 使用部分依赖图分析嵌入相似度对排序结果的影响。

实验结果

研究问题

• RQ1 基于轻量级 fastText 的用户上下文查询嵌入是否能够提升查询自动补全的排序性能？
• RQ2 在 QAC 任务中，基于嵌入的特征相较于传统基于文本的个性化特征表现如何？
• RQ3 当与现有特征结合时，基于嵌入的特征在多大程度上提升了排序指标？
• RQ4 该模型是否在存在用户上下文信息的会话中表现出更强的性能提升？
• RQ5 单个上下文查询嵌入对最终排序分数的贡献如何？

主要发现

• 所提出的基于嵌入的排序模型在所有离线指标（包括 MRR、SR、MAP 和 NDCG）上相较于最常用补全（MPC）基线模型实现了 20–30% 的性能提升。
• 在包含用户上下文的会话中，该模型相较于基线排序器最高实现 10% 的性能提升，证明了上下文感知个性化的重要性。
• 基于嵌入的特征优于基于文本的个性化特征，在完整数据集上 MAP@3 提升 1.5%，在仅含上下文的数据集上提升 3%。
• 在基于嵌入的特征基础上增加基于文本的特征仅带来微小收益，表明嵌入特征已捕获了大部分相关信号。
• 部分依赖图确认了嵌入空间中余弦相似度与排序性能之间存在强而单调的关系。
• 该模型在所有指标上均表现出统计显著的性能提升，95% 置信区间证实了结果的可靠性。