[论文解读] U-Net: Machine Reading Comprehension with Unanswerable Questions

Sun Fu, Linyang Li+2 more|arXiv (Cornell University)|Oct 12, 2018

Topic Modeling参考文献 29被引用 37

一句话总结

本文提出U-Net，一种用于机器阅读理解中不可回答问题的统一端到端模型，通过一个融合问题与篇章表征的通用节点，整合答案指针、无答案指针和答案验证器。该模型在SQuAD 2.0上取得72.6的F1分数，优于流水线方法，通过在单一简洁架构中联合学习答案可回答性与跨度预测，实现性能提升。

ABSTRACT

Machine reading comprehension with unanswerable questions is a new challenging task for natural language processing. A key subtask is to reliably predict whether the question is unanswerable. In this paper, we propose a unified model, called U-Net, with three important components: answer pointer, no-answer pointer, and answer verifier. We introduce a universal node and thus process the question and its context passage as a single contiguous sequence of tokens. The universal node encodes the fused information from both the question and passage, and plays an important role to predict whether the question is answerable and also greatly improves the conciseness of the U-Net. Different from the state-of-art pipeline models, U-Net can be learned in an end-to-end fashion. The experimental results on the SQuAD 2.0 dataset show that U-Net can effectively predict the unanswerability of questions and achieves an F1 score of 71.7 on SQuAD 2.0.

研究动机与目标

• 为解决在机器阅读理解中可靠检测不可回答问题的挑战。
• 克服流水线模型中分别训练答案指针与答案验证器所导致的局限性。
• 将答案跨度预测、无答案检测与答案验证统一到单一端到端框架中。
• 通过引入编码问题与篇章联合信息的通用节点，提升模型简洁性与性能。
• 通过共享表征联合训练多个相关子任务，在SQuAD 2.0上实现优异性能。

提出的方法

• 模型将问题与篇章作为单一连续的标记序列进行处理，并插入一个通用节点以编码融合的问题-篇章表征。
• 双向LSTM对统一输入序列进行编码，捕捉问题与篇章之间的上下文依赖关系。
• 多层次注意力机制实现问题与篇章表征之间的交互，增强特征学习。
• 最终融合层将编码后的表征与注意力表征相结合，用于多任务预测。
• 使用三个预测头：一个用于答案跨度边界预测（答案指针），一个用于无答案预测（无答案指针），一个用于不可回答性分类（答案验证器）。
• 整个模型通过共享子任务间编码与交互层的多任务学习目标进行端到端训练。

实验结果

研究问题

• RQ1 统一模型是否能比流水线方法更有效地联合预测答案跨度并检测不可回答问题？
• RQ2 引入融合问题与篇章表征的通用节点在多大程度上提升了模型性能与简洁性？
• RQ3 对答案指针、无答案指针与答案验证器进行多任务学习，在不可回答问题上的整体MRC性能能提升多少？
• RQ4 统一架构的端到端训练是否优于分别训练答案预测与答案可回答性分类组件？
• RQ5 模型在不同不可回答性预测阈值下的性能如何变化？

主要发现

• U-Net在SQuAD 2.0测试集上取得72.6的F1分数，表明其在可回答与不可回答问题上均表现出色。
• 该模型通过端到端方式联合学习答案可回答性与跨度预测，优于现有流水线方法。
• 通用节点通过实现问题与篇章的统一表征，显著提升了模型简洁性与性能。
• 答案验证器组件有效捕捉了不可回答性的概率，尤其在结合候选答案信息时表现更优。
• 提高不可回答性阈值可提升不可回答问题的性能，但略微降低可回答问题的表现，证实该权衡得到良好控制。
• 该模型实现简单，具备强大的泛化潜力，未来工作计划通过引入自注意力机制进一步优化。