[论文解读] Separating Answers from Queries for Neural Reading Comprehension

Dirk Weissenborn|arXiv (Cornell University)|Jul 12, 2016

Topic Modeling参考文献 25被引用 17

一句话总结

本文提出了一种用于阅读理解的新型神经网络架构，通过专用的嵌入矩阵显式分离查询与答案表征，并采用松散连接的模块来更新查询和累积证据。通过将支持性知识视为查询-答案对，并支持多次检索循环，该模型在CNN/DailyMail和Children’s Book Test基准测试中取得了最先进性能，且在4–7跳的迭代优化中表现出显著提升。

ABSTRACT

We present a novel neural architecture for answering queries, designed to optimally leverage explicit support in the form of query-answer memories. Our model is able to refine and update a given query while separately accumulating evidence for predicting the answer. Its architecture reflects this separation with dedicated embedding matrices and loosely connected information pathways (modules) for updating the query and accumulating evidence. This separation of responsibilities effectively decouples the search for query related support and the prediction of the answer. On recent benchmark datasets for reading comprehension, our model achieves state-of-the-art results. A qualitative analysis reveals that the model effectively accumulates weighted evidence from the query and over multiple support retrieval cycles which results in a robust answer prediction.

研究动机与目标

• 为了解决现有模型中查询与答案表征混淆的问题，从而降低其在查询优化与证据累积方面的有效性。
• 通过显式地将支持性知识表示为查询-答案对，实现针对性检索与预测，以提升阅读理解性能。
• 研究多次检索循环（跳数）对答案预测鲁棒性与准确率的影响。
• 证明分离查询与答案路径可提升模型在完形填空式阅读理解任务中的性能。

提出的方法

• 该模型使用两个独立的嵌入矩阵：一个用于查询表征，另一个用于答案表征，从而实现独立更新。
• 采用门控机制，根据对支持文本的注意力计算，决定是否更新当前查询表征或保持原状。
• 通过独立路径累积答案的证据，跨多个跳数对支持文档中的相关片段进行加权。
• 最终答案通过融合优化后的查询表征与累积的证据，使用门控融合机制进行预测。
• 该架构为端到端可微分结构，基于完形填空式阅读理解数据集通过反向传播进行训练。
• 采用多次检索循环（跳数）以迭代方式优化查询并累积证据，性能在不同跳数下进行评估。

实验结果

研究问题

• RQ1 分离查询与答案表征是否能提升神经阅读理解模型的性能？
• RQ2 在多次检索循环中迭代优化查询，如何影响答案预测的准确率？
• RQ3 模型通过多跳累积加权证据的能力在多大程度上提升了鲁棒性？
• RQ4 为何模型有时即使注意力权重从未聚焦于正确答案，仍能正确预测？

主要发现

• 该模型在CNN/DailyMail和Children’s Book Test (CBT) NE基准数据集上达到最先进性能。
• 使用至少4跳相比1或2跳显著提升性能，且在3–7跳后性能趋于稳定。
• 在CBT NE数据集上，使用5跳相比4跳使准确率提升0.6个百分点，尽管模型仅在4跳上进行训练。
• 在64%的采样CNN示例中，正确答案从第一跳开始即被检索并持续保留在预测过程中。
• 在某些情况下，即使注意力权重从未聚焦于正确答案，模型仍能正确预测，表明查询表征具有强大影响。
• 若从最终答案预测中移除查询表征，模型会转向预测如'people'等错误答案，证实查询表征对最终预测具有偏差作用，从而提升准确率。