[论文解读] Reinforced Mnemonic Reader for Machine Reading Comprehension

Minghao Hu, Yuxing Peng+4 more|arXiv (Cornell University)|May 8, 2017

Topic Modeling参考文献 39被引用 41

一句话总结

本文提出了一种强化记忆阅读器（Reinforced Mnemonic Reader），一种用于机器阅读理解的神经网络架构，通过重新注意力机制减少注意力冗余与不足，改进注意力机制，并引入动态关键强化学习以克服训练中的收敛抑制问题。该模型在 SQuAD 上达到最先进性能，在开发集上取得 82.3% 的 EM 和 88.5% 的 F1 分数，并在对抗性 SQuAD 数据集上超越先前方法超过 6%。

ABSTRACT

In this paper, we introduce the Reinforced Mnemonic Reader for machine reading comprehension tasks, which enhances previous attentive readers in two aspects. First, a reattention mechanism is proposed to refine current attentions by directly accessing to past attentions that are temporally memorized in a multi-round alignment architecture, so as to avoid the problems of attention redundancy and attention deficiency. Second, a new optimization approach, called dynamic-critical reinforcement learning, is introduced to extend the standard supervised method. It always encourages to predict a more acceptable answer so as to address the convergence suppression problem occurred in traditional reinforcement learning algorithms. Extensive experiments on the Stanford Question Answering Dataset (SQuAD) show that our model achieves state-of-the-art results. Meanwhile, our model outperforms previous systems by over 6% in terms of both Exact Match and F1 metrics on two adversarial SQuAD datasets.

研究动机与目标

• 解决机器阅读理解中多轮注意力机制存在的注意力冗余与不足问题。
• 解决基于强化学习训练中为 F1 优化而产生的收敛抑制问题。
• 通过利用记忆化的过去注意力状态，改进注意力分布，从而提升答案跨度预测性能。
• 开发一种更稳定有效的训练方法，动态选择奖励与基线，以避免奖励归一化问题。
• 在标准与对抗性 SQuAD 基准上实现最先进性能。

提出的方法

• 引入重新注意力机制，利用时间上记忆的过去注意力分布来优化当前注意力，提升关注焦点并减少冗余。
• 重新注意力通过计算当前与过去注意力分布之间的相似性，引导注意力集中于重叠区域或探索新区域。
• 动态关键强化学习（DCRL）动态选择随机推理与贪婪推理中得分更高的预测作为奖励，确保奖励为正且已归一化。
• DCRL 使用两种采样策略——随机推理与贪婪推理——并将得分更高的输出设为奖励，得分较低的作为基线，以防止收敛抑制。
• 将重新注意力与 DCRL 整合进一个端到端神经架构，称为强化记忆阅读器，采用结合监督学习与强化学习的混合目标进行训练。
• 该架构采用多轮对齐机制，每个模块通过结合问题感知注意力与前序步骤的重新注意力，逐步优化上下文表征。

实验结果

研究问题

• RQ1 利用过去注意力分布的重新注意力机制是否能有效减少多轮 MRC 模型中的注意力冗余与不足？
• RQ2 动态关键强化学习是否能有效缓解 MRC 中 F1 优化训练的收敛抑制问题？
• RQ3 所提模型是否能在标准与对抗性 SQuAD 基准上实现最先进性能？
• RQ4 重新注意力机制如何提升注意力分布的多样性并增强与真实答案跨度的一致性？
• RQ5 与标准自关键序列训练（SCST）相比，DCRL 在多大程度上提升了预测准确率？

主要发现

• 通过集成模型，在 SQuAD 开发集上达到 82.3% 的精确匹配（EM）分数与 88.5% 的 F1 分数，代表最先进性能。
• 在对抗性 SQuAD 数据集 AddSent 与 AddOneSent 上，该模型在 EM 与 F1 指标上均比现有方法高出超过 6%。
• 重新注意力机制减少了注意力冗余，表现为相邻注意力模块间 KL 散度提升 25%（从 E1 的 0.695 上升至 E2 的 0.866）。
• 重新注意力也减少了注意力不足，预测注意力分布与基于集成的真值注意力分布之间的 KL 散度从 E2 的 0.650 降低至 0.568。
• 动态关键强化学习成功避免了收敛抑制，相比 SCST，能更准确地预测答案边界，尤其在 SCST 无法定位正确跨度时表现更优。
• 消融实验表明，重新注意力与 DCRL 均对性能有显著贡献，完整模型在 EM 与 F1 上比变体模型高出 1.5–2.0 分。