[论文解读] Revealing the Importance of Semantic Retrieval for Machine Reading at Scale

Yixin Nie, Songhe Wang+1 more|arXiv (Cornell University)|Sep 17, 2019

Topic Modeling参考文献 22被引用 7

一句话总结

本文提出了一种用于大规模机器阅读（MRS）的分层语义检索流水线，整合了段落级与句子级神经检索，以提升下游的事实验证与多跳问答性能。在 FEVER（67.26% FEVER 得分）和 HotpotQA（45.32% 答案 EM，25.14% 联合 EM）上均取得了当前最优结果，表明语义检索对于构建高质量数据并提升下游性能至关重要。

ABSTRACT

Machine Reading at Scale (MRS) is a challenging task in which a system is given an input query and is asked to produce a precise output by "reading" information from a large knowledge base. The task has gained popularity with its natural combination of information retrieval (IR) and machine comprehension (MC). Advancements in representation learning have led to separated progress in both IR and MC; however, very few studies have examined the relationship and combined design of retrieval and comprehension at different levels of granularity, for development of MRS systems. In this work, we give general guidelines on system design for MRS by proposing a simple yet effective pipeline system with special consideration on hierarchical semantic retrieval at both paragraph and sentence level, and their potential effects on the downstream task. The system is evaluated on both fact verification and open-domain multihop QA, achieving state-of-the-art results on the leaderboard test sets of both FEVER and HOTPOTQA. To further demonstrate the importance of semantic retrieval, we present ablation and analysis studies to quantify the contribution of neural retrieval modules at both paragraph-level and sentence-level, and illustrate that intermediate semantic retrieval modules are vital for not only effectively filtering upstream information and thus saving downstream computation, but also for shaping upstream data distribution and providing better data for downstream modeling. Code/data made publicly available at: https://github.com/easonnie/semanticRetrievalMRS

研究动机与目标

• 探究语义检索在多种粒度下对大规模机器阅读（MRS）系统的作用。
• 解决 MRS 系统设计中检索模块过度优化覆盖度而非精确度所导致的不匹配问题，从而提升下游性能。
• 为段落级与句子级检索模块在有效 MRS 中的必要性提供实证证据。
• 证明中间语义检索能够塑造下游理解模块所见的数据分布，并提升建模效率与准确性。
• 通过分析检索与理解模块之间的相互作用，为 MRS 系统提供通用设计指导。

提出的方法

• 该系统采用分层流水线结构，首先进行基于术语的检索，随后依次通过神经段落级与句子级检索模块。
• 段落级检索利用密集语义表示对候选段落进行过滤，减少上游噪声。
• 句子级检索进一步利用上下文相关的句子嵌入，对证据选择进行精细化处理，提升下游任务的精确度。
• 下游神经模块基于检索到的证据执行答案预测或验证任务，采用端到端方式训练。
• 在两个层级上均对检索阈值进行调优，以在精确度与召回率之间取得平衡，并通过消融实验评估其影响。
• 该框架在 FEVER 和 HotpotQA 上进行评估，中间证据标注使得检索评估更加准确。

实验结果

研究问题

• RQ1 段落级语义检索在多大程度上影响 MRS 系统的下游性能？
• RQ2 句子级语义检索对多跳问答与事实验证中答案准确率及证据选择的影响如何？
• RQ3 中间检索在多大程度上塑造了下游理解模块所见的数据分布？
• RQ4 为何答案预测性能的峰值出现在与证据检索性能不同的检索阈值处？
• RQ5 能否通过联合优化检索与理解模块，实现整体 MRS 性能的进一步提升？

主要发现

• 在 HotpotQA 上，系统实现了 45.32% 的答案 EM 和 25.14% 的联合 EM，相比先前结果，答案 EM 提升了 8 个百分点，联合 EM 实现翻倍。
• 在 FEVER 上，系统取得了 67.26% 的 FEVER 得分，相比先前发表的系统提升了 3 个百分点。
• 段落级检索至关重要：若移除该模块，性能显著下降，尤其是在过滤干扰性事实方面。
• 句子级检索同样关键，即使在段落级检索存在的情况下，若缺少该模块，性能仍会下降。
• 下游 QA 模块从句子级更高的召回率中受益，答案 EM 在阈值 $ h_s = 0.2 $ 处达到峰值，而证据 F1 在 $ h_s = 0.5 $ 处达到峰值，表明检索与理解之间存在性能错配。
• 验证模块对句子级检索质量的敏感度高于 QA 模块，如 FEVER 得分与标签准确率均在 $ h_s = 0.2 $ 处达到峰值所示。