[论文解读] Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention

Yang Liu, Sujian Li|arXiv (Cornell University)|Sep 20, 2016

Topic Modeling参考文献 26被引用 8

一句话总结

该论文提出了一种多级注意力神经网络（NNMA），这是一种循环神经网络架构，通过在论据对中迭代聚焦于越来越具体的词语，模拟人类的重复阅读过程，以识别隐含语篇关系。通过结合双向LSTM、多级注意力机制以及外部短期记忆，NNMA在PDTB数据集上实现了最先进性能，通过动态、渐进式的特征利用超越了先前方法。

ABSTRACT

Recognizing implicit discourse relations is a challenging but important task in the field of Natural Language Processing. For such a complex text processing task, different from previous studies, we argue that it is necessary to repeatedly read the arguments and dynamically exploit the efficient features useful for recognizing discourse relations. To mimic the repeated reading strategy, we propose the neural networks with multi-level attention (NNMA), combining the attention mechanism and external memories to gradually fix the attention on some specific words helpful to judging the discourse relations. Experiments on the PDTB dataset show that our proposed method achieves the state-of-art results. The visualization of the attention weights also illustrates the progress that our model observes the arguments on each level and progressively locates the important words.

研究动机与目标

• 为解决缺乏显式连接词时识别隐含语篇关系的挑战，这需要对文本进行深度、多轮分析。
• 改进单轮阅读模型，这些模型无法动态识别论据对中细微且依赖上下文的线索。
• 通过在多轮处理中逐步聚焦于显著词语，模拟人类的重复阅读行为。
• 通过使用外部记忆存储并优化各注意力层级的表示，提升特征提取能力。
• 在PDTB基准上实现隐含语篇关系分类的最先进性能。

提出的方法

• 该模型使用双向LSTM对每个论据进行整体编码，捕捉全局上下文表示。
• 通过循环方式堆叠多个注意力层级，以模拟重复阅读，每一层逐步细化对关键词语的聚焦。
• 在每一注意力层级，软注意力机制在论据序列上计算词语重要性权重，以突出相关内容。
• 外部短期记忆存储前序层级的信息，并指导注意力更新，实现表示的渐进式优化。
• 使用最高注意力层级的最终表示，通过Softmax分类器进行语篇关系分类。
• 整个架构通过交叉熵损失端到端训练，以优化语篇关系预测。

实验结果

研究问题

• RQ1 能否通过模拟重复阅读的神经网络架构提升隐含语篇关系识别的性能？
• RQ2 哪些词语或短语最能预测隐含语篇关系，且能否通过多轮处理实现其动态识别？
• RQ3 外部记忆的集成如何增强语篇关系分类中的特征学习与注意力聚焦？
• RQ4 具有渐进式优化的多级注意力机制是否优于单轮注意力机制，以捕捉细微的语篇线索？
• RQ5 注意力可视化在多大程度上能证实模型学习到聚焦于语义上有意义、定义关系的关键短语？

主要发现

• 所提出的NNMA模型在PDTB数据集上实现了隐含语篇关系分类的最先进性能。
• 注意力权重的可视化证实，模型在各层级间逐步从一般内容聚焦到具体的关系定义性词语。
• 该模型成功识别出如“expanding rapidly”和“sleazy image”等关键线索，作为Comparison关系的指示。
• 使用外部短期记忆有效实现了跨多个注意力层级的知识保留，提升了表示质量。
• 多级注意力机制通过支持动态、迭代的词语重要性优化，优于单轮注意力机制。
• 即使在缺乏语篇连接词的情况下，该模型仍能通过依赖上下文的语义线索，稳健识别隐含关系。