[论文解读] Towards Abstraction from Extraction: Multiple Timescale Gated Recurrent Unit for Summarization

Minsoo Kim, Dennis Singh Moirangthem+1 more|arXiv (Cornell University)|Jul 4, 2016

Topic Modeling参考文献 14被引用 6

一句话总结

本文提出了一种新型RNN架构——多时间尺度门控循环单元（MTGRU），通过引入时间层次结构，提升了长篇科学文本的序列到序列抽象摘要生成性能。通过为不同RNN层分配不同的时间尺度，MTGRU增强了组合理解能力并减少了训练时间，在保持或提升性能的同时，显著优于标准RNN模型，且能从抽取式训练数据中实现抽象生成。

ABSTRACT

In this work, we introduce temporal hierarchies to the sequence to sequence (seq2seq) model to tackle the problem of abstractive summarization of scientific articles. The proposed Multiple Timescale model of the Gated Recurrent Unit (MTGRU) is implemented in the encoder-decoder setting to better deal with the presence of multiple compositionalities in larger texts. The proposed model is compared to the conventional RNN encoder-decoder, and the results demonstrate that our model trains faster and shows significant performance gains. The results also show that the temporal hierarchies help improve the ability of seq2seq models to capture compositionalities better without the presence of highly complex architectural hierarchies.

研究动机与目标

• 解决在长篇复杂科学文章中，标准RNN因序列长度和组合复杂性而难以实现抽象摘要生成的问题。
• 在不增加架构复杂度或内存使用的情况下，提升序列到序列模型对多层级组合性（如句子级与段落级结构）的建模能力。
• 通过在抽取式段落-关键句对上进行端到端训练，实现端到端的抽象摘要生成，利用泛化能力生成抽象输出。
• 相比传统RNN编码器-解码器，在保持或提升性能的同时，显著缩短训练时间。
• 从ArXiv构建一个新的计算机科学文章数据集，用于段落级摘要任务，支持对未见多句输入的评估。

提出的方法

• 提出一种多时间尺度门控循环单元（MTGRU），在深层RNN的不同层上应用不同时间尺度，灵感来源于人类大脑中的时间层次结构。
• 在编码器-解码器框架中实现MTGRU，以建模科学文本中的长距离依赖关系和组合结构。
• 使用TF-IDF得分从每一段中提取关键句子，形成输入段落与最能代表其内容的句子之间的训练对。
• 采用序列到序列目标函数进行端到端训练，以最大化给定输入段落时目标摘要的似然概率。
• 将各段摘要拼接，形成非专家视角的全文摘要，并与原始文章摘要进行对比评估。
• 应用分层注意力机制，使解码器能够在不同时间尺度下关注编码器输出的相关部分。

实验结果

研究问题

• RQ1 多时间尺度RNN架构是否能在不增加架构复杂度的前提下，提升长文本摘要中组合层次结构的建模能力？
• RQ2 通过MTGRU引入时间层次结构，是否能在抽象摘要任务中实现比标准RNN更快的训练速度和更优的性能表现？
• RQ3 在仅使用抽取式句子对进行训练的模型，是否能够泛化为多句段落的抽象摘要生成？
• RQ4 MTGRU模型在多大程度上能够捕捉科学文章中的语义和话语层面的组合性？
• RQ5 MTGRU架构是否可扩展以支持对多段落科学文本的完全抽象、端到端摘要生成？

主要发现

• MTGRU模型的训练速度显著快于传统RNN编码器-解码器，训练时间最多减少一个训练周期。
• 模型在摘要质量方面实现了显著提升，尤其在捕捉多句内容中的关键信息方面表现突出。
• 尽管仅在抽取式摘要（关键句）上进行训练，模型仍能泛化生成抽象摘要，例如生成输入中未出现的词汇如“explored”（探讨）。
• MTGRU中的时间层次结构使模型在无需额外架构开销的情况下，更好地捕捉了句子级与段落级的组合结构。
• 模型展现出强大的泛化能力，能学习每段中的多个关键信息点，支持超越单句抽取的抽象生成。
• 结果表明，当在更具抽象性的目标上进行训练时，MTGRU可作为未来完全抽象、端到端摘要系统的基础架构。