[论文解读] Query Expansion with Locally-Trained Word Embeddings

Fernando Díaz, Bhaskar Mitra+1 more|arXiv (Cornell University)|May 25, 2016

Topic Modeling参考文献 46被引用 53

一句话总结

本文提出了一种使用局部训练词嵌入进行查询扩展的方法，其中词向量在针对给定查询检索到的主题特定文档集上重新训练，而非在全局语料库上训练。结果表明，局部训练的词嵌入在即席信息检索任务中显著优于全局训练的词嵌入（例如，word2vec、GloVe），证明主题特定的表示能更好地捕捉词汇相似性并提升检索性能。

ABSTRACT

Continuous space word embeddings have received a great deal of attention in the natural language processing and machine learning communities for their ability to model term similarity and other relationships. We study the use of term relatedness in the context of query expansion for ad hoc information retrieval. We demonstrate that word embeddings such as word2vec and GloVe, when trained globally, underperform corpus and query specific embeddings for retrieval tasks. These results suggest that other tasks benefiting from global embeddings may also benefit from local embeddings.

研究动机与目标

• 探究主题特定的词嵌入是否能提升即席信息检索中的查询扩展效果。
• 挑战全局训练嵌入（例如，word2vec、GloVe）在检索中为词汇相似性最优的假设。
• 证明局部训练的嵌入比全局表示更能捕捉细微且与主题相关的词语关系。
• 使用标准指标（如MAP和P@10）评估局部训练嵌入在检索环境中的有效性。
• 为在需要上下文语言理解的NLP任务中使用局部微调嵌入提供实证和理论依据。

提出的方法

• 在针对给定查询检索到的文档子集上训练词嵌入（例如，word2vec），而非在大规模多样化语料库上训练。
• 基于主题特定与全局词上下文概率的比率，使用重要性加权方法，以在训练过程中突出显示罕见但与主题相关的术语。
• 使用点互信息Kullback-Leibler散度识别在主题中显著高于全局语料库频率的术语。
• 通过嵌入空间中的余弦相似度计算术语相关性，以生成扩展的查询术语。
• 在检索模型中使用扩展后的查询，并通过标准信息检索指标（如MAP和P@10）评估性能。
• 将局部训练嵌入的检索性能与全局训练嵌入及基线方法（如伪相关反馈）进行比较。

实验结果

研究问题

• RQ1 在主题特定文档集上训练词嵌入是否比在全局语料库上训练能带来更好的查询扩展性能？
• RQ2 在即席信息检索中，局部训练嵌入的性能与全局训练嵌入相比如何？
• RQ3 重要性加权和主题特定概率分布在多大程度上提升了嵌入质量以用于检索任务？
• RQ4 局部训练嵌入是否能比全局嵌入更好地建模多义性和主题特定的词语使用？
• RQ5 局部嵌入的性能增益是否在不同主题和查询类型中保持一致？

主要发现

• 在即席信息检索的查询扩展中，局部训练的词嵌入在标准指标（如MAP和P@10）下显著优于全局训练的词嵌入。
• 对于涉及多义词或主题特定词汇的查询，性能差距尤为显著，此时全局嵌入无法捕捉上下文相关的语义。
• 基于主题与全局概率比率的重要性加权方法，能有效增强主题训练中罕见但相关术语的表示。
• 本研究提供了实证证据，表明主题特定的语言细微差别比全局表示更能被局部嵌入捕捉，即使全局模型在大规模数据上进行了预训练。
• 结果表明，由于全局语料库中高频通用术语的主导作用，全局嵌入可能低估了主题特定的词汇模式。
• 作者得出结论：在需要上下文和主题语言理解的任务中，局部训练嵌入应被视为优于全局嵌入的更优选择。