[论文解读] Sequence-to-Sequence RNNs for Text Summarization

Ramesh Nallapati, Bing Xiang+1 more|arXiv (Cornell University)|Feb 18, 2016

Topic Modeling参考文献 8被引用 128

一句话总结

本文提出一种带有注意力机制的序列到序列RNN用于文本摘要，将该任务视为机器翻译问题。该方法在Gigaword数据集上取得了最先进性能，优于先前模型且无需额外调优，并引入了架构扩展以进一步提升摘要质量。

ABSTRACT

In this work, we cast text summarization as a sequence-to-sequence problem and apply the attentional encoder-decoder RNN that has been shown to be successful for Machine Translation (Bahdanau et al. (2014)). Our experiments show that the proposed architecture significantly outperforms the state-of-the art model of Rush et al. (2015) on the Gigaword dataset without any additional tuning. We also propose additional extensions to the standard architecture, which we show contribute to further improvement in performance.

研究动机与目标

• 将文本摘要问题作为使用神经网络的序列到序列学习问题来解决。
• 应用在机器翻译中已被证明有效的注意力编码器-解码器框架于生成式摘要任务。
• 在Gigaword数据集上超越Rush等人（2015）提出的最先进模型。
• 探索可提升摘要性能的架构扩展。

提出的方法

• 采用带有编码器-解码器结构的序列到序列RNN架构用于文本摘要。
• 集成注意力机制，使解码器在解码过程中能够关注输入序列的相关部分。
• 在编码器中使用双向LSTM，以捕捉输入文本正反两个方向的上下文信息。
• 应用指针-生成网络或类似机制以处理OOV（词汇表外）词汇，尽管摘要中未明确详细说明。
• 使用带有注意力机制的序列到序列学习方法进行端到端训练，以自动评估指标为目标进行优化。
• 引入架构扩展——如改进的注意力机制或解码策略——以提升模型性能。

实验结果

研究问题

• RQ1 带有注意力机制的序列到序列RNN能否有效处理文本摘要任务？
• RQ2 基于注意力的编码器-解码器模型在Gigaword数据集上与Rush等人（2015）提出的最先进模型相比表现如何？
• RQ3 通过扩展标准序列到序列架构，可在摘要性能上实现哪些改进？
• RQ4 所提出的模型是否在无需额外超参数调优的情况下具有良好泛化能力？

主要发现

• 所提出的模型在Gigaword数据集上显著优于Rush等人（2015）提出的最先进模型。
• 该模型在无需任何额外超参数调优的情况下实现了优越性能。
• 所引入的架构扩展进一步提升了文本摘要的性能。
• 注意力机制使模型在生成摘要过程中能够动态聚焦于输入的相关片段。