[论文解读] Stochastic Answer Networks for Machine Reading Comprehension

Xiaodong Liu, Yelong Shen+2 more|arXiv (Cornell University)|Dec 10, 2017

Topic Modeling参考文献 30被引用 34

一句话总结

本文提出随机答案网络（SAN），一种用于机器阅读理解的简单而稳健的神经网络架构，通过在训练过程中对答案模块应用随机预测丢弃，提升多步推理能力。通过平均多个推理步骤的预测结果，而非依赖最终一步，SAN 在 SQuAD、对抗性 SQuAD 和 MS MARCO 上均实现了最先进性能，且无需强化学习，显著提升了模型的鲁棒性和准确性。

ABSTRACT

We propose a simple yet robust stochastic answer network (SAN) that simulates multi-step reasoning in machine reading comprehension. Compared to previous work such as ReasoNet which used reinforcement learning to determine the number of steps, the unique feature is the use of a kind of stochastic prediction dropout on the answer module (final layer) of the neural network during the training. We show that this simple trick improves robustness and achieves results competitive to the state-of-the-art on the Stanford Question Answering Dataset (SQuAD), the Adversarial SQuAD, and the Microsoft MAchine Reading COmprehension Dataset (MS MARCO).

研究动机与目标

• 为解决机器阅读理解中的多步推理挑战，即模型需在句子间整合信息并执行迭代推理。
• 通过减少对最终预测步骤的依赖，提升阅读理解任务中的模型鲁棒性和泛化能力。
• 开发一种训练方法，实现有效的多步推理，同时避免强化学习带来的复杂性和不稳定性。
• 通过更简单、适合反向传播的训练方案，在 SQuAD、对抗性 SQuAD 和 MS MARCO 等基准数据集上实现最先进性能。

提出的方法

• 该模型采用四层架构：词典编码、使用 BiLSTM 的上下文编码、带注意力和自注意力机制的工作记忆，以及基于 GRU 的逐步预测答案模块。
• 在训练过程中，对答案模块应用随机预测丢弃，随机丢弃每个推理步骤的预测结果，以防止对任一单一步骤的过度依赖。
• 在推理阶段，最终答案通过所有步骤预测结果的平均值生成，从而有效构建对优化步骤的随机集成。
• 模型使用标准反向传播进行训练，避免了先前动态步长模型中使用的强化学习方法所带来的不稳定性。
• 对于多文档阅读理解，每篇文档的候选答案通过 SAN 进行打分，并使用独立的文档排序器进行重排序。
• 答案模块是一个 GRU，它在每个推理步骤生成跨度起始和结束位置的多项式分布。

实验结果

研究问题

• RQ1 在答案模块上应用简单的训练技术（如随机丢弃）是否能提升机器阅读理解中的多步推理能力？
• RQ2 通过平均多个推理步骤的预测结果，是否能比依赖最终预测步骤带来更高的鲁棒性和准确性？
• RQ3 模型是否能在不使用强化学习进行动态步长选择的情况下，实现在阅读理解基准上的最先进性能？
• RQ4 与固定步长和动态步长推理模型相比，该方法在鲁棒性和泛化能力方面表现如何？

主要发现

• SAN 在 MS MARCO 开发集上取得 46.14 的 F1 分数，优于 V-Net，成为该基准的新 SOTA。
• 在 SQuAD 数据集上，SAN 在排行榜上表现具有竞争力，表明其在无需强化学习的情况下仍具备强大的泛化能力。
• 该模型优于固定步长的记忆网络和动态步长的 ReasoNet，展现出更高的鲁棒性和准确性。
• 使用随机丢弃和预测平均化显著减少了步骤偏差，并增强了推理过程中的模型稳定性。
• SAN 在对抗性 SQuAD 上表现优异，表明其对扰动输入具备更强的鲁棒性。
• 该方法简单、高效，且与标准反向传播兼容，相较于基于强化学习的替代方案更易于实现和训练。