[论文解读] OneStop QAMaker: Extract Question-Answer Pairs from Text in a One-Stop Approach

Shaobo Cui, Xintong Bao+5 more|arXiv (Cornell University)|Feb 24, 2021

Topic Modeling参考文献 39被引用 11

一句话总结

本文提出 OneStop QAMaker，一种端到端的神经序列到序列模型，可在单一统一框架中联合生成问题并从文档中抽取答案片段，解决了流水线方法中存在的不兼容问题。该模型在 SQuAD、NewsQA 和 DuReader 上达到最先进性能，人类评估得分为 1.67，且显著提升了效率，相比多模型流水线，模型复杂度和部署开销均明显降低。

ABSTRACT

Large-scale question-answer (QA) pairs are critical for advancing research areas like machine reading comprehension and question answering. To construct QA pairs from documents requires determining how to ask a question and what is the corresponding answer. Existing methods for QA pair generation usually follow a pipeline approach. Namely, they first choose the most likely candidate answer span and then generate the answer-specific question. This pipeline approach, however, is undesired in mining the most appropriate QA pairs from documents since it ignores the connection between question generation and answer extraction, which may lead to incompatible QA pair generation, i.e., the selected answer span is inappropriate for question generation. However, for human annotators, we take the whole QA pair into account and consider the compatibility between question and answer. Inspired by such motivation, instead of the conventional pipeline approach, we propose a model named OneStop generate QA pairs from documents in a one-stop approach. Specifically, questions and their corresponding answer span is extracted simultaneously and the process of question generation and answer extraction mutually affect each other. Additionally, OneStop is much more efficient to be trained and deployed in industrial scenarios since it involves only one model to solve the complex QA generation task. We conduct comprehensive experiments on three large-scale machine reading comprehension datasets: SQuAD, NewsQA, and DuReader. The experimental results demonstrate that our OneStop model outperforms the baselines significantly regarding the quality of generated questions, quality of generated question-answer pairs, and model efficiency.

研究动机与目标

• 解决基于流水线的问答对生成方法中问题生成与答案抽取之间的不兼容性问题。
• 通过联合建模问题与答案而非顺序处理，提升生成问答对的质量与连贯性。
• 通过用单一统一模型替代多模型流水线，提升训练与部署效率。
• 通过减少错误传播与模糊的答案选择，降低在线部署中的人工干预需求。
• 探索端到端联合学习在工业自然语言处理应用中问答对生成的可行性与有效性。

提出的方法

• 提出一种端到端的序列到序列 Transformer 模型，可在一个统一框架中同时完成问题生成与答案片段抽取。
• 使用共享编码器对输入文档进行编码，解码器同时生成问题与答案片段。
• 采用多任务学习策略，使解码器在生成过程中同时依赖文档与预测的答案片段，以增强对齐效果。
• 引入软答案抽取机制，使训练过程中可微地选择答案片段。
• 利用复制机制，通过从文档中直接复制精确短语来提升答案片段的准确性。
• 采用联合目标函数进行模型训练，以最大化给定文档下正确问答对的似然概率。

实验结果

研究问题

• RQ1 统一模型是否能比流水线方法更有效地联合生成高质量问题并抽取兼容的答案片段？
• RQ2 问题生成与答案抽取之间的联合学习是否能提升生成问答对的兼容性与连贯性？
• RQ3 在问题质量、答案准确率与模型效率方面，该端到端统一方法相较于流水线基线表现如何？
• RQ4 引入基于 BERT 的答案抽取模块在多大程度上提升了 OneStop 模型的性能？
• RQ5 与多阶段流水线相比，该模型是否能有效减少工业部署中的人工工作量与错误累积？

主要发现

• OneStop 在问题生成质量方面优于所有流水线基线，在 SQuAD 数据集上的人类评分达到 1.41。
• 增强版本 OneStop + BERT-MRC 的人类评估得分为 1.67，证明了集成更强答案抽取组件的有效性。
• OneStop 在 SQuAD 上模型参数量减少至 14200 万，在 DuReader 上为 12100 万，成为问答对生成任务中最轻量的模型之一。
• 该模型展现出显著的效率优势：仅使用单一模型，而非多个级联模型，显著降低了训练与部署的复杂度。
• 案例研究证实，OneStop 的答案片段与 BERT-MRC 基本一致，但有时包含更广的上下文，从而提升了上下文连贯性。
• 从 BART-QG + BERT-MRC（1.61）到 OneStop + BERT-MRC（1.67）的性能提升，证实 OneStop 中的答案抽取模块能有效提升问题生成质量。