[论文解读] Personalized Language Model for Query Auto-Completion

Aaron Jaech, Mari Ostendorf|arXiv (Cornell University)|Apr 25, 2018

Topic Modeling参考文献 14被引用 8

一句话总结

该论文提出了一种基于FactorCell的循环神经网络个性化语言模型，用于查询自动补全，通过在线用户嵌入更新实现对个体用户的自适应。该模型在未见用户上的表现显著优于非个性化方法和基于拼接的自适应方法，通过实现动态、上下文感知的个性化，提升了建议的语义连贯性。

ABSTRACT

Query auto-completion is a search engine feature whereby the system suggests completed queries as the user types. Recently, the use of a recurrent neural network language model was suggested as a method of generating query completions. We show how an adaptable language model can be used to generate personalized completions and how the model can use online updating to make predictions for users not seen during training. The personalized predictions are significantly better than a baseline that uses no user information.

研究动机与目标

• 通过使用用户特定的嵌入来个性化语言模型，以改善查询自动补全。
• 通过在线用户嵌入更新，实现在训练期间未见过的用户的有效个性化。
• 证明通过低秩矩阵（FactorCell）进行自适应权重修改，相比RNN中传统的拼接自适应方法更具优势。
• 证明随着用户交互数据的增加，个性化效果也随之提升，即使对于罕见或未见过的前缀也是如此。
• 验证模型在保持高效性和可扩展性的同时，能够生成更高质量、语义连贯的查询补全结果。

提出的方法

• 该模型使用字符级LSTM，并引入FactorCell机制，通过从用户嵌入导出的低秩矩阵对循环层权重进行加法变换。
• 用户嵌入在训练期间学习，并通过反向传播对新用户进行在线更新，初始值设为默认嵌入 $u_1$。
• 自适应过程冻结除用户嵌入矩阵 $\mathbf{U}$ 外的所有模型参数，实现无需重新训练的增量个性化。
• 模型在每个查询中仅计算一次自适应权重矩阵 $\mathbf{W}' = \mathbf{W} + \mathbf{A}$，并在束搜索过程中重复使用，以保持推理效率。
• 通过用户嵌入调制循环层的权重，实现上下文相关的语言生成，从而实现个性化。
• 系统支持实时推理，并可扩展以纳入时间或其他上下文因素作为条件信号。

实验结果

研究问题

• RQ1 能否通过在线用户自适应有效个性化神经语言模型以用于查询自动补全？
• RQ2 在补全质量与语义连贯性方面，基于FactorCell的权重自适应与基于拼接的自适应相比表现如何？
• RQ3 个性化在训练期间未见过的用户上能带来多大程度的性能提升？
• RQ4 用户交互数据的增加是否能带来可测量的预测质量与相关性提升？
• RQ5 该模型能否在保持低计算成本的同时，为罕见或未见过的前缀生成语义连贯的补全？

主要发现

• FactorCell模型在个性化查询补全方面显著优于基线未自适应模型和ConcatCell模型，尤其在用户训练数据有限的情况下。
• 对于未见过的用户，通过在线用户嵌入更新，模型能立即获得个性化收益，且随着处理查询数量的增加，性能持续提升。
• FactorCell模型生成了更具语义连贯性的补全结果，例如为高中生正确建议 'high school musical' 和 'funbrain.com'，而ConcatCell模型则生成了拼写相似但语义无关的结果。
• 在 'prada handbags' 和 'versace eyewear' 示例中，FactorCell模型正确建议了如 Neiman Marcus 和 Pottery Barn 等零售商，而ConcatCell模型则生成了不相关或低相关性的结果，如 'craigslist nyc' 和 'webster dictionary'。
• 模型表明，更丰富的自适应框架（如FactorCell）在数据更多时能带来更大收益，证实了该方法的可扩展性。
• 更新用户嵌入的成本与一次前向传播相当，且可随时间分摊，使该方法在实际部署中具有可行性。