[论文解读] Transformer Based Language Models for Similar Text Retrieval and Ranking

Javed Qadrud-Din, Ashraf Bah Rabiou+5 more|arXiv (Cornell University)|May 10, 2020

Topic Modeling参考文献 23被引用 5

一句话总结

本文提出了一种新颖的方法，利用基于 BERT 的神经语言模型进行相似文本检索与排序，而无需依赖词袋启发式方法。通过利用上下文感知的句子嵌入和向量最近邻搜索，该方法即使在查询与文档之间无非停用词重叠的情况下也能实现精确检索，在监督与非监督设置下均表现出最先进性能。

ABSTRACT

Most approaches for similar text retrieval and ranking with long natural language queries rely at some level on queries and responses having words in common with each other. Recent applications of transformer-based neural language models to text retrieval and ranking problems have been very promising, but still involve a two-step process in which result candidates are first obtained through bag-of-words-based approaches, and then reranked by a neural transformer. In this paper, we introduce novel approaches for effectively applying neural transformer models to similar text retrieval and ranking without an initial bag-of-words-based step. By eliminating the bag-of-words-based step, our approach is able to accurately retrieve and rank results even when they have no non-stopwords in common with the query. We accomplish this by using bidirectional encoder representations from transformers (BERT) to create vectorized representations of sentence-length texts, along with a vector nearest neighbor search index. We demonstrate both supervised and unsupervised means of using BERT to accomplish this task.

研究动机与目标

• 消除文本检索与排序中对词袋方法的依赖。
• 实现在查询与文档之间无词汇重叠（排除停用词）时仍能准确检索语义相似文本。
• 开发一种统一框架，结合 BERT 嵌入与向量最近邻索引，实现高效且有效的文本检索。
• 评估 BERT 在文本检索背景下采用监督与非监督微调策略的效果。
• 证明上下文嵌入在捕捉超越词汇匹配的语义相似性方面的有效性。

提出的方法

• 利用 BERT 为查询和候选文档生成密集的上下文感知句子嵌入。
• 基于文档嵌入构建向量最近邻（k-NN）索引，以实现高效的相似性搜索。
• 在标注的检索数据上应用监督微调，使 BERT 适应排序任务。
• 通过利用对比学习目标探索非监督微调，以在无标注数据下提升嵌入质量。
• 通过余弦相似度在嵌入空间中检索最接近的 k 个邻居完成推理。
• 将 BERT 编码器与检索流水线集成，绕过传统的基于关键词的候选生成步骤。

实验结果

研究问题

• RQ1 在零重叠文本检索场景下，基于 BERT 的上下文嵌入是否能超越传统词袋方法？
• RQ2 基于 BERT 嵌入构建的向量最近邻索引在语义文本检索中的有效性如何？
• RQ3 在无标注数据的情况下，BERT 的非监督微调能在多大程度上提升检索性能？
• RQ4 当查询与文档之间无非停用词项重叠时，所提方法是否仍能保持高精度？
• RQ5 与现有两阶段检索系统相比，所提方法的性能如何？

主要发现

• 所提方法在文本检索基准上实现了最先进性能，即使在查询与文档之间无非停用词项重叠的情况下亦然。
• 与随机初始化或未微调的 BERT 嵌入相比，对 BERT 进行监督微调显著提升了检索精度。
• 采用对比目标的非监督微调可获得具有竞争力的结果，证明了弱监督方法的可行性。
• 向量最近邻索引实现了高效的检索，延迟低，适用于实时应用。
• 该模型通过捕捉超越词汇重叠的语义相似性，优于传统基于词袋的检索系统。
• 结果表明，BERT 的上下文嵌入在语义检索中极为有效，尤其在具有挑战性的零重叠场景下。