[论文解读] Personalized neural language models for real-world query auto completion

Nicolas Fiorini, Zhiyong Lu|arXiv (Cornell University)|Apr 17, 2018

Web Data Mining and Analysis参考文献 18被引用 7

一句话总结

本文提出了一种个性化神经语言模型，用于查询自动补全，通过整合用户特定的查询历史和时间敏感性，提升预测准确率与多样性，尤其针对罕见或未见查询。该方法在通用网络搜索和生物医学搜索数据集上均实现了最先进性能，通过避免重排序，提升了可扩展性，在准确率与效率方面均优于先前方法。

ABSTRACT

Query auto completion (QAC) systems are a standard part of search engines in industry, helping users formulate their query. Such systems update their suggestions after the user types each character, predicting the user's intent using various signals - one of the most common being popularity. Recently, deep learning approaches have been proposed for the QAC task, to specifically address the main limitation of previous popularity-based methods: the inability to predict unseen queries. In this work we improve previous methods based on neural language modeling, with the goal of building an end-to-end system. We particularly focus on using real-world data by integrating user information for personalized suggestions when possible. We also make use of time information and study how to increase diversity in the suggestions while studying the impact on scalability. Our empirical results demonstrate a marked improvement on two separate datasets over previous best methods in both accuracy and scalability, making a step towards neural query auto-completion in production search engines.

研究动机与目标

• 解决基于流行度的查询自动补全（MPC）在处理罕见或未见查询时的局限性。
• 开发一种整合用户个性化与时间敏感性的神经语言模型，以提升相关性与多样性。
• 通过消除对重排序流水线（如LambdaMART）的依赖，提升可扩展性。
• 在生物医学等专业领域评估性能，这些领域具有更广泛的查询多样性与词汇量。
• 提供一种可投入生产的架构，在准确率、多样性与计算效率之间实现平衡。

提出的方法

• 使用字符级别的RNN，结合GRU或LSTM单元，对序列进行建模并预测查询前缀的下一个字符。
• 通过过去查询历史提取用户特定的嵌入向量，实现个性化预测。
• 通过编码时间特征，反映随时间变化的查询流行度，实现时间敏感性。
• 采用平衡的束搜索策略，提升top-k建议的多样性，减少冗余。
• 通过直接优化端到端性能，避免后处理重排序，提升可扩展性。
• 在两个数据集的真实查询日志上进行模型训练：AOL（通用网络搜索）与生物医学数据集。

实验结果

研究问题

• RQ1 整合用户个性化在未见查询的自动补全性能上带来了多大提升？
• RQ2 时间敏感性在多大程度上提升了预测准确率，尤其是对随时间动态变化的查询？
• RQ3 平衡的束搜索策略是否能有效提升建议的多样性，同时不牺牲准确率？
• RQ4 与通用网络搜索相比，该模型在生物医学等专业领域中的表现如何？
• RQ5 神经语言模型是否能在不依赖外部重排序方法（如LambdaMART）的情况下实现最先进性能？

主要发现

• NQAC UT模型（含用户与时间信息）在未见查询上表现最佳，相比非个性化模型，MRR提升21%。
• 用户信息显著提升了对已见查询的性能，MRR提升23%。
• 通过平衡束搜索提升的多样性，在生物医学数据集上使性能提升19%，在已见与未见查询之间实现更好平衡。
• 在生物医学数据集上，MPC因查询流行度低而表现不佳，而NQAC UT +D在整体MRR上表现最佳，优于MPC与NQLM。
• 模型在约一百万条查询后达到有意义的预测结果，但生物医学数据集需要更多训练轮次以实现损失稳定。
• NQAC UT +MPC组合在生物医学数据集上达到最高整体MRR，但LambdaMART未能提升性能，表明在此情境下重排序效果差。