[论文解读] Semantic Modelling with Long-Short-Term Memory for Information Retrieval

Hamid Palangi, Li Deng+6 more|arXiv (Cornell University)|Dec 20, 2014

Topic Modeling参考文献 13被引用 58

一句话总结

本文提出LSTM-DSSM，一种用于信息检索的新型语义建模方法，利用长短期记忆网络捕捉查询与文档中的长期上下文依赖关系，通过基于序列的建模和余弦相似度优化，有效解决词汇不匹配和上下文建模问题，在Bing网页搜索数据上显著优于现有方法。

ABSTRACT

In this paper we address the following problem in web document and information retrieval (IR): How can we use long-term context information to gain better IR performance? Unlike common IR methods that use bag of words representation for queries and documents, we treat them as a sequence of words and use long short term memory (LSTM) to capture contextual dependencies. To the best of our knowledge, this is the first time that LSTM is applied to information retrieval tasks. Unlike training traditional LSTMs, the training strategy is different due to the special nature of information retrieval problem. Experimental evaluation on an IR task derived from the Bing web search demonstrates the ability of the proposed method in addressing both lexical mismatch and long-term context modelling issues, thereby, significantly outperforming existing state of the art methods for web document retrieval task.

研究动机与目标

• 通过使用基于序列的建模而非词袋表示，解决信息检索中的词汇不匹配和长期上下文建模问题。
• 克服标准RNN因梯度消失/爆炸而难以捕捉长期依赖关系的局限性。
• 首次将LSTM——此前在语音识别和机器翻译中表现成功的模型——应用于信息检索任务。
• 开发一种专用于信息检索的训练策略，仅从序列最终输出反向传播误差信号，与标准RNN不同。
• 证明LSTM-DSSM在真实世界网页搜索数据上优于R-DSSM及其他最先进信息检索模型。

提出的方法

• 该模型使用单层LSTM将查询和文档编码为词嵌入序列，通过门控记忆单元捕捉长期依赖关系。
• LSTM单元架构包括输入门、遗忘门和输出门，并引入窥孔连接，使门可以直接访问单元状态。
• 词表示通过哈希获得，每个序列的最终隐藏状态（即最后一个时间步）被用作查询和文档的语义嵌入。
• 通过计算查询和文档LSTM最终隐藏状态之间的余弦相似度来衡量语义相似度。
• 使用截断的时间反向传播进行训练，损失函数为基于边距的损失，旨在最大化点击文档相对于未点击文档的可能性。
• 采用专门的反向传播方案，仅从最终输出反向传播误差信号，并通过推导出的隐藏状态和循环权重更新公式计算梯度。

实验结果

研究问题

• RQ1 LSTM能否在信息检索任务中有效建模长期上下文依赖关系，从而优于标准RNN？
• RQ2 将LSTM应用于信息检索是否能在真实搜索场景中超越现有最先进模型（如DSSM、CLSM和R-DSSM）？
• RQ3 所提出的训练策略——仅从序列最终输出反向传播误差——是否能在缺乏逐步监督的情况下有效优化模型？
• RQ4 LSTM-DSSM在多大程度上减轻了词汇不匹配对查询-文档匹配的影响？
• RQ5 该模型是否能比以往的基于序列的模型更有效地捕捉长文档中的主题转换与相关性？

主要发现

• 在Bing网页搜索数据上，LSTM-DSSM在所有NDCG@1、NDCG@3和NDCG@10指标上均优于所有基线模型，包括R-DSSM、DSSM、CLSM和BM25。
• 模型在NDCG@10上达到43.6%，显著高于次优基线模型CLSM的42.6%。
• LSTM-DSSM在NDCG@1上达到33.1%，优于基于RNN的R-DSSM（31.7%）及其他所有模型，表明其在早期排序性能上表现更优。
• 模型捕捉长期上下文的能力通过其在需要理解长序列语义连贯性的任务中表现更优得到验证。
• 尽管缺乏逐步监督，但仅从最终输出反向传播误差的专用训练策略仍能实现有效学习，并支持比R-DSSM更快的收敛速度。
• 结果证实，LSTM可成功适配至信息检索任务，并显著提升传统序列模型和词袋基线模型的性能。