[论文解读] Multi-span Style Extraction for Generative Reading Comprehension

Junjie Yang, Zhuosheng Zhang+1 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 45被引用 5

一句话总结

本文提出 MUSST，一种多跨度风格的抽取框架，通过将多跨度抽取与轻量级答案生成器结合，在生成式机器阅读理解中显著减少了单跨度方法常见的不完整或冗余答案，同时在 MS MARCO v2.1 上实现了接近最先进水平的性能。

ABSTRACT

Generative machine reading comprehension (MRC) requires a model to generate well-formed answers. For this type of MRC, answer generation method is crucial to the model performance. However, generative models, which are supposed to be the right model for the task, in generally perform poorly. At the same time, single-span extraction models have been proven effective for extractive MRC, where the answer is constrained to a single span in the passage. Nevertheless, they generally suffer from generating incomplete answers or introducing redundant words when applied to the generative MRC. Thus, we extend the single-span extraction method to multi-span, proposing a new framework which enables generative MRC to be smoothly solved as multi-span extraction. Thorough experiments demonstrate that this novel approach can alleviate the dilemma between generative models and single-span models and produce answers with better-formed syntax and semantics.

研究动机与目标

• 解决单跨度抽取模型在生成式 MRC 中存在的局限性，这些模型常产生不完整或冗余的答案。
• 弥合抽取式单跨度模型与生成式序列到序列（seq2seq）模型在抽象答案生成中的性能差距。
• 开发一种框架，利用问题和文本中的多个跨度，合成语法和语义上连贯的完整答案。
• 通过在训练过程中引入动态采样进行文本排序，提升训练效率和相关性。
• 证明结合抽取式多跨度选择与轻量级生成器的混合方法，可在无需复杂端到端训练的情况下实现强大性能。

提出的方法

• 提出一种多跨度答案标注器，将结构良好的答案转换为分布在问题和文本中的跨度序列。
• 设计一种轻量级答案生成器，支持在推理过程中抽取可变数量的跨度，实现答案的灵活组合。
• 使用基于预训练 BERT 的编码器，生成问题-文本对的上下文表示，捕捉输入之间的交互关系。
• 采用两层前馈网络（含 ReLU 和 softmax）实现文本排序器，用于预测候选文本的相关性得分。
• 在训练过程中引入动态采样，选择最可能蕴含答案的文本，提升模型对相关上下文的关注度。
• 端到端联合训练框架，使用跨度预测和文本排序的交叉熵损失，同步优化答案生成与文本选择。

实验结果

研究问题

• RQ1 与单跨度抽取相比，多跨度抽取是否能显著提升生成答案在句法和语义上的质量？
• RQ2 所提出的 MUSST 框架在 MS MARCO v2.1 数据集上相对于强基线（单跨度与 seq2seq 模型）的表现如何？
• RQ3 轻量级抽取式生成器在答案质量和训练效率方面，能否显著优于完整的 seq2seq 生成？
• RQ4 训练过程中引入动态采样是否能提升所选文本的相关性，从而改善答案生成性能？
• RQ5 结合抽取式跨度选择与生成器的混合方法，是否能在无需复杂端到端训练的情况下，实现接近最先进水平的性能？

主要发现

• MUSST 在 MS MARCO v2.1 数据集上显著优于单跨度抽取基线模型，有效减少了不完整和冗余答案。
• 该模型仅通过独立的文本排序器和轻量级生成器，即实现了接近最先进水平的性能，无需复杂的端到端训练。
• 训练过程中引入动态采样可提升所选文本的相关性，从而带来更高质量的答案生成。
• 多跨度风格抽取框架通过结合问题和文本中的相关跨度，实现了更准确且流畅的答案生成。
• 消融实验证实，多跨度标注器与轻量级生成器均对最终性能有显著贡献。
• 该框架展现出强大的泛化能力，表明抽取式方法可通过极少的架构改动，有效拓展至生成式 MRC 任务。