[论文解读] Neural Passage Retrieval with Improved Negative Contrast

Jing Lü, Gustavo Hernández Ábrego+3 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 29被引用 21

一句话总结

本文提出了一种改进的负采样策略——基于语义相似度、词汇重叠和启发式方法——用于在神经文档段落检索中训练双编码器模型。通过在预训练和微调阶段均应用这些难负例，该方法显著增强了相关与无关段落之间的区分度，在开放域问答基准上实现了最先进性能，准确率提升0.8–2.9个百分点。

ABSTRACT

In this paper we explore the effects of negative sampling in dual encoder models used to retrieve passages for automatic question answering. We explore four negative sampling strategies that complement the straightforward random sampling of negatives, typically used to train dual encoder models. Out of the four strategies, three are based on retrieval and one on heuristics. Our retrieval-based strategies are based on the semantic similarity and the lexical overlap between questions and passages. We train the dual encoder models in two stages: pre-training with synthetic data and fine tuning with domain-specific data. We apply negative sampling to both stages. The approach is evaluated in two passage retrieval tasks. Even though it is not evident that there is one single sampling strategy that works best in all the tasks, it is clear that our strategies contribute to improving the contrast between the response and all the other passages. Furthermore, mixing the negatives from different strategies achieve performance on par with the best performing strategy in all tasks. Our results establish a new state-of-the-art level of performance on two of the open-domain question answering datasets that we evaluated.

研究动机与目标

• 系统评估难负采样对双编码器模型在段落检索中影响。
• 探究基于检索和启发式策略生成的难负例是否能增强相关与无关段落之间的区分度。
• 研究在合成数据和真实标注数据上，将难负例整合到预训练和微调阶段的有效性。
• 确定通过集成不同负采样策略训练的模型是否能获得更优性能。
• 通过结合合成预训练与难负采样，建立开放域问答的新最先进水平。

提出的方法

• 采用两阶段训练框架：首先在通过问题生成模型构建的合成问题-段落对上进行预训练，随后在真实标注数据上进行微调。
• 应用四种不同的难负采样策略：粗粒度/细粒度语义相似度、基于BM25的词汇重叠，以及基于启发式的上下文负例。
• 将难负例整合到预训练和微调阶段，以增强正样本与负样本之间的区分度。
• 采用基于BERT的双编码器，将问题和段落独立编码为共享的稠密向量空间。
• 采用对比学习方法，结合难负例优化模型，使相关段落在嵌入空间中更接近，无关段落更远离。
• 通过集成不同负采样策略训练的模型，利用其互补优势，实现最先进性能。

实验结果

研究问题

• RQ1 不同难负采样策略对双编码器模型在段落检索中的性能有何影响？
• RQ2 与随机负例相比，在预训练阶段引入难负例是否能提升模型泛化能力？
• RQ3 在不同问题类型和领域（如NQ与SQuAD）中，哪种负采样策略表现最佳？
• RQ4 通过集成使用多种负采样策略训练的模型，是否能超越单一策略的性能？
• RQ5 在检索任务中，使用难负例进行合成预训练在多大程度上减少了对昂贵真实标注数据的依赖？

主要发现

• 所有四种难负采样策略——粗粒度/细粒度语义相似度、基于BM25的策略以及基于上下文的启发式负例——在预训练和微调阶段均显著优于随机负例，提升了模型性能。
• 在预训练和微调阶段均使用难负例带来了稳定的性能增益，当在两个阶段均使用难负例时，性能达到最佳。
• 在Natural Questions（NQ）数据集上，基于上下文的难负例表现最佳；而在SQuAD数据集上，基于语义相似度的负例（包括粗粒度与细粒度）优于其他策略。
• 通过集成不同负采样策略训练的模型，在所有评估任务中均实现了最先进性能，相比先前工作，准确率提升0.8–2.9个百分点。
• 若从预训练阶段移除难负例，性能出现显著下降，表明即使在合成预训练中，难负例也具有重要价值。
• 直接从BERT检查点开始微调（跳过预训练）导致性能大幅下降，证实了结合难负例的合成预训练的有效性。