[论文解读] Phase Conductor on Multi-layered Attentions for Machine Comprehension

Rui Liu, Wei Wei+2 more|arXiv (Cornell University)|Oct 28, 2017

Topic Modeling参考文献 12被引用 18

一句话总结

本文提出 PhaseCond，一种用于机器阅读理解的多阶段、多层注意力模型，通过将问题感知的篇章表示与证据传播分离为不同阶段，提升问答性能。该模型通过为问题和篇章分别使用独立编码器与共享编码器，改进注意力机制，在 SQuAD 数据集上取得 71.85% EM 和 81.13% F1 的最先进性能。

ABSTRACT

Attention models have been intensively studied to improve NLP tasks such as machine comprehension via both question-aware passage attention model and self-matching attention model. Our research proposes phase conductor (PhaseCond) for attention models in two meaningful ways. First, PhaseCond, an architecture of multi-layered attention models, consists of multiple phases each implementing a stack of attention layers producing passage representations and a stack of inner or outer fusion layers regulating the information flow. Second, we extend and improve the dot-product attention function for PhaseCond by simultaneously encoding multiple question and passage embedding layers from different perspectives. We demonstrate the effectiveness of our proposed model PhaseCond on the SQuAD dataset, showing that our model significantly outperforms both state-of-the-art single-layered and multiple-layered attention models. We deepen our results with new findings via both detailed qualitative analysis and visualized examples showing the dynamic changes through multi-layered attention models.

研究动机与目标

• 为解决单阶段注意力模型在捕捉长距离依赖关系以及有效传播答案证据方面的局限性。
• 探究将问题感知表示与证据传播分离为不同阶段是否能提升模型性能与可解释性。
• 探索使用多种多样化的问题表示（独立编码器与共享编码器）在注意力机制中的影响，以实现更好的对齐与特征学习。
• 分析多层注意力机制中注意力权重的动态变化，揭示信息流动与梯度退化现象。

提出的方法

• PhaseCond 提出一种两阶段架构：问题感知篇章表示阶段（包含堆叠的问题-篇章注意力层）与证据传播阶段（包含堆叠的自注意力层）。
• 每个阶段均包含融合层——问题-篇章阶段使用外融合（outer fusion）以连接各层的表示，自注意力阶段使用内融合（inner fusion）以调控信息流动。
• 提出一种改进的点积注意力函数，采用三种不同的嵌入流：独立问题编码器、权重共享问题编码器与权重共享篇章编码器。
• 模型采用多头点积注意力机制，其中查询由共享问题表示生成，键来自篇章，通过学习的注意力权重实现上下文感知对齐。
• 该架构支持在每个阶段堆叠多层，实现篇章表示的迭代优化与答案相关证据的有效传播。
• 在 SQuAD 上进行可视化与消融实验，分析注意力机制在各层中的动态变化，尤其关注权重集中与退化模式。

实验结果

研究问题

• RQ1 将问题感知篇章表示与证据传播分离为不同阶段，是否能提升机器阅读理解任务的性能？
• RQ2 与单编码器方法相比，使用多种视角特定的问题表示（独立与共享编码器）如何影响注意力对齐与模型准确率？
• RQ3 在问题-篇章注意力与自注意力阶段中，多层注意力权重的动态变化如何？这些变化与模型性能有何关联？
• RQ4 为何在问题-篇章注意力阶段增加层数会导致性能下降，而自注意力阶段层数增加则能提升性能？
• RQ5 注意力矩阵在多大程度上揭示了复杂篇章中证据集中与传播的有意义模式？

主要发现

• PhaseCond 在 SQuAD 基准测试中达到 71.85% EM 与 81.13% F1，显著优于单层与多层注意力模型。
• 在问题-篇章注意力阶段增加第二层导致性能下降（EM 从 72.05 降至 71.85），表明使用相同问题表示进行重复对齐会引发过拟合，降低表示多样性。
• 自注意力阶段的第二层产生更集中的对齐权重，表明更深的自注意力层能通过增强证据集中与传播提升性能。
• 可视化结果显示，经过第一层问题-篇章注意力后，篇章中的词语逐渐与问题对齐，导致第二层中注意力模式趋于不可区分，解释了性能下降的原因。
• 在自注意力阶段，注意力权重更加聚焦——例如，'Denver Broncos' 在第二层中对 'Carolina Panthers' 的注意力更加集中，表明答案相关证据得到有效传播。
• 模型表明，通过自注意力层进行证据传播比重复使用问题-篇章注意力更有效，凸显了内部篇章表示优化的重要性。