[论文解读] SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval

Tiancheng Zhao, Xiaopeng Lu+1 more|arXiv (Cornell University)|Sep 28, 2020

Topic Modeling参考文献 51被引用 4

一句话总结

SPARTA 提出了一种用于开放域问答的稀疏神经检索方法，通过建模查询与答案词符之间的逐词交互，实现基于倒排索引的高效检索。该方法在英语和中文的15项任务上均达到最先进性能，相较于密集向量方法，在准确性、可解释性和效率方面表现更优。

ABSTRACT

We introduce SPARTA, a novel neural retrieval method that shows great promise in performance, generalization, and interpretability for open-domain question answering. Unlike many neural ranking methods that use dense vector nearest neighbor search, SPARTA learns a sparse representation that can be efficiently implemented as an Inverted Index. The resulting representation enables scalable neural retrieval that does not require expensive approximate vector search and leads to better performance than its dense counterpart. We validated our approaches on 4 open-domain question answering (OpenQA) tasks and 11 retrieval question answering (ReQA) tasks. SPARTA achieves new state-of-the-art results across a variety of open-domain question answering tasks in both English and Chinese datasets, including open SQuAD, Natuarl Question, CMRC and etc. Analysis also confirms that the proposed method creates human interpretable representation and allows flexible control over the trade-off between performance and efficiency.

研究动机与目标

• 为解决双编码器模型在开放域问答中的局限性，特别是其对近似最近邻搜索的依赖以及查询-答案交互能力较弱的问题。
• 开发一种神经检索方法，实现快速、可扩展且可解释的排序，无需昂贵的向量搜索或依赖 GPU。
• 在低资源领域提升性能，并通过稀疏性实现效率与准确性的灵活权衡。
• 探究逐词交互是否能在开放域问答中优于序列级匹配。
• 通过稀疏且有意义的表示，构建既高度准确又可被人类解释的检索系统。

提出的方法

• SPARTA 使用基于 Transformer 的模型学习答案段落的稀疏表示，计算每个查询词符与答案词符之间的逐词注意力。
• 该模型为答案中的每个词符 $ t $ 计算一个相关性得分 $ f(t, (a,c)) $，捕捉其对与查询匹配的贡献。
• 生成的稀疏向量被存储在倒排索引中（例如 Lucene），实现无需近似最近邻搜索的快速 CPU 检索。
• 该方法利用预训练语言模型注入世界知识，使其能够预测答案中未出现的同义词及相关术语。
• 通过仅保留 $ f(t, (a,c)) $ 得分最高的前 K 个术语来控制稀疏性，实现内存高效的部署。
• 该框架支持短语级（OpenQA）和句子级（ReQA）答案检索，并在检索目标上进行端到端训练。

实验结果

研究问题

• RQ1 在开放域问答中，逐词查询-答案交互是否能优于序列级匹配？
• RQ2 稀疏神经表示能否在无需近似最近邻搜索的情况下，同时实现高性能与高效的 CPU 检索？
• RQ3 所提出的方法在低资源领域是否比密集基线模型泛化能力更强？
• RQ4 在多大程度上可利用稀疏性来平衡性能与内存效率？
• RQ5 通过人工检查，稀疏表示能否实现可解释且语义有意义？

主要发现

• SPARTA 在 SQuAD 上取得 79.0 的新 SOTA MRR，在 NQ 上取得 75.8 的 MRR，优于所有先前方法在这些检索问答任务上的表现。
• 仅使用前 50 个术语时，SPARTA 在 SQuAD 上达到 69.5 的 MRR，优于所有基线模型，且仅需 Poly-Encoders 1.6% 的内存占用。
• 在更具挑战性的 NQ 数据集上，SPARTA 使用前 1000 个术语时达到 75.5 的 MRR，与最佳性能模型非常接近。
• 人工评估确认 SPARTA 的前导术语语义上有意义，包括关键词、同义词及相关概念（如‘Utah’代表黄石公园，尽管答案中未出现该词）。
• 该模型在低资源领域表现出良好的泛化能力，优于经典 IR 和神经基线模型。
• 稀疏表示支持在性能与效率之间灵活权衡，即使在低稀疏度水平（如前 50 个术语）下，准确率下降也极小。