[论文解读] Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index

Minjoon Seo, Jinhyuk Lee+4 more|arXiv (Cornell University)|Jun 13, 2019

Topic Modeling参考文献 33被引用 17

一句话总结

本文提出 DenSPI，一种实时开放域问答系统，通过查询无关的密集-稀疏短语索引实现快速、可扩展的推理。通过联合编码密集向量与稀疏向量并离线索引短语，DenSPI 在 CPU 上实现比 DrQA 快 58 倍的端到端推理速度，同时在 SQuAD-Open 上保持最先进准确率，计算成本降低 6,000 倍，且精确匹配分数高出 6.4%。

ABSTRACT

Existing open-domain question answering (QA) models are not suitable for real-time usage because they need to process several long documents on-demand for every input query. In this paper, we introduce the query-agnostic indexable representation of document phrases that can drastically speed up open-domain QA and also allows us to reach long-tail targets. In particular, our dense-sparse phrase encoding effectively captures syntactic, semantic, and lexical information of the phrases and eliminates the pipeline filtering of context documents. Leveraging optimization strategies, our model can be trained in a single 4-GPU server and serve entire Wikipedia (up to 60 billion phrases) under 2TB with CPUs only. Our experiments on SQuAD-Open show that our model is more accurate than DrQA (Chen et al., 2017) with 6000x reduced computational cost, which translates into at least 58x faster end-to-end inference benchmark on CPUs.

研究动机与目标

• 为解决现有开放域问答系统在每次查询时重新处理文档所导致的高推理延迟问题。
• 通过独立于查询预索引文档短语，实现实时、可扩展的问答。
• 通过结合密集语义表示与稀疏词汇表示，提升开放域问答中的检索多样性与准确性。
• 在标准硬件上实现大规模短语索引的高效训练与服务，显著降低计算成本与内存占用。
• 在 SQuAD-Open 等开放域基准测试中实现高性能，同时保持极低延迟。

提出的方法

• 提出一种密集-稀疏短语编码方法，结合上下文感知的密集向量（如基于 BERT 的表示）与稀疏词频向量，以捕捉语义、句法与词汇信息。
• 使用起始与结束标记位置将文档短语编码为固定表示，支持离线索引与快速检索。
• 在共享嵌入空间中使用内积搜索，于推理阶段为给定问题检索最相关的短语。
• 在索引的短语表征上采用近似最近邻搜索，实现在网络规模数据上的可扩展、实时推理。
• 应用优化策略（如混合精度训练与高效数据加载）在单台配备 64GB 内存与 2TB SSD 的 4-GPU 服务器上训练与部署模型。
• 引入一种混合搜索策略（SFS + DFS），结合稀疏与密集向量检索，以提升覆盖范围与准确性。

实验结果

研究问题

• RQ1 查询无关的短语索引方法是否能显著降低开放域问答中的推理延迟？
• RQ2 与流水线方法相比，结合密集与稀疏短语表征在检索准确率与多样性方面有何提升？
• RQ3 在无多 GPU 或高端基础设施的普通硬件上，密集-稀疏短语索引在多大程度上可实现高效训练与服务？
• RQ4 在混合密集-稀疏表征上使用近似最近邻搜索时，准确率与速度之间的权衡如何？
• RQ5 与 DrQA 等强基线相比，该模型在长尾与分布外问题上的表现如何？

主要发现

• 由于预索引的短语表征，DenSPI 在 CPU 上实现比 DrQA 快 58 倍的端到端推理速度，包含磁盘访问时间。
• 在受控条件下，模型相比 DrQA 将计算成本降低 6,000 倍，同时保持或提升准确率。
• DenSPI -Hybrid 在 SQuAD-Open 上达到比 DrQA 高 6.4% 的精确匹配（EM）分数，最佳配置下 F1 分数高出 6.6%。
• 模型每条查询平均从 817 个不同文档中检索答案，而 DrQA 仅检索 5 个，表明检索多样性显著提升。
• 移除稀疏向量后，F1 分数下降 19.6%，证明其在区分词汇不同但语义相似的短语中起关键作用。
• 定性分析显示，即使词汇重叠较低，DenSPI 仍能从多个文档中成功检索正确答案，在具有挑战性的开放域场景中优于 DrQA。