[论文解读] Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents

Ming Tu, Kevin Huang+4 more|arXiv (Cornell University)|Nov 1, 2019

Topic Modeling参考文献 25被引用 18

一句话总结

该论文提出了用于多文档可解释多跳阅读理解的 Select, Answer and Explain (SAE) 框架。首先通过成对学习排序文档分类器过滤与答案无关的文档，然后通过带有跨任务注意力和图神经网络的多任务模型联合预测答案和支持性句子，在 HotpotQA 上实现了具有竞争力的性能，联合 EM 为 39.89%，F1 为 66.45%。

ABSTRACT

Interpretable multi-hop reading comprehension (RC) over multiple documents is a challenging problem because it demands reasoning over multiple information sources and explaining the answer prediction by providing supporting evidences. In this paper, we propose an effective and interpretable Select, Answer and Explain (SAE) system to solve the multi-document RC problem. Our system first filters out answer-unrelated documents and thus reduce the amount of distraction information. This is achieved by a document classifier trained with a novel pairwise learning-to-rank loss. The selected answer-related documents are then input to a model to jointly predict the answer and supporting sentences. The model is optimized with a multi-task learning objective on both token level for answer prediction and sentence level for supporting sentences prediction, together with an attention-based interaction between these two tasks. Evaluated on HotpotQA, a challenging multi-hop RC data set, the proposed SAE system achieves top competitive performance in distractor setting compared to other existing systems on the leaderboard.

研究动机与目标

• 通过减少无关文档带来的干扰，解决在多文档上进行可解释多跳阅读理解的挑战。
• 通过联合学习答案跨度和支持句子预测，提升答案预测和支持证据检索的性能。
• 通过显式识别并解释来自多份文档的支持句子，增强模型的可解释性。
• 克服现有方法的局限性，如可解释性差和缺乏文档过滤，尤其是在高干扰环境下的表现。
• 开发一种可扩展且准确的系统，在 HotpotQA 等多跳问答基准上超越现有模型。

提出的方法

• 使用新型成对学习排序损失训练文档分类器，以过滤与答案无关的文档，仅保留相关文档。
• 采用多任务学习框架，联合优化在 token 级别的答案跨度预测和在 sentence 级别的支持句子预测。
• 在答案预测头和支持句子预测头之间引入基于注意力的交互机制，以提升跨任务推理能力。
• 使用图神经网络（GNN），其包含三类边：文档内句子连接、文档间句子连接以及基于实体的连接。
• 使用基于注意力的池化进行句子汇总，以聚合句子级表示用于下游预测。
• 使用基于 BERT 的上下文嵌入作为文档过滤和答案/解释预测模块的输入表示。

实验结果

研究问题

• RQ1 文档过滤机制是否能显著减少干扰并提升多跳多文档阅读理解的性能？
• RQ2 联合预测答案和支持句子在提升模型可解释性和性能方面有多有效？
• RQ3 在图神经网络中，不同类型的消息传递对跨文档多跳推理的贡献如何？
• RQ4 在答案预测和证据预测头之间引入基于注意力的交互是否能提升模型性能？
• RQ5 该模型在不同类型推理（如桥接推理和比较推理）上的表现如何？

主要发现

• 完整 SAE 模型在 HotpotQA 开发集上达到 39.89% 的联合 EM 和 66.45% 的 F1，表现出与最先进系统相当的性能。
• 移除 GNN 模块后，联合 EM 下降 1.4%，F1 下降 0.9%，证实图神经网络中的消息传递对推理至关重要。
• 文档内句子连接边对性能贡献最大，而文档间连接边虽仅带来微小但有意义的提升。
• 将基于注意力的句子汇总替换为简单平均，联合 EM 下降近 2%，证明注意力在汇总支持句子方面的有效性。
• 模型在 '比较' 类推理（51.18% 联合 EM）上的表现优于 '桥接' 类推理（37.07% 联合 EM），表明识别桥接实体更具挑战性。
• 注意力热力图直观显示，模型在判断国籍时正确关注了 'american' 等关键词，验证了其可解释性。