[论文解读] Neural Summarization by Extracting Sentences and Words

Jianpeng Cheng, Mirella Lapata|arXiv (Cornell University)|Mar 23, 2016

Topic Modeling参考文献 34被引用 128

一句话总结

论文提出一个数据驱动的编码器-提取器框架，用于单文档摘要，可以使用神经网络和层级表示提取句子或单词，基于大规模 DailyMail 派生数据集进行训练。

ABSTRACT

Traditional approaches to extractive summarization rely heavily on human-engineered features. In this work we propose a data-driven approach based on neural networks and continuous sentence features. We develop a general framework for single-document summarization composed of a hierarchical document encoder and an attention-based extractor. This architecture allows us to develop different classes of summarization models which can extract sentences or words. We train our models on large scale corpora containing hundreds of thousands of document-summary pairs. Experimental results on two summarization datasets demonstrate that our models obtain results comparable to the state of the art without any access to linguistic annotation.

研究动机与目标

• 基于数据驱动的抽取式摘要提出动机，而非手工设计特征。
• 提出一个用于文档的分层神经编码器和用于句子或单词的基于注意力的提取器。
• 证明神经提取式和提取式生成摘要在标准基准上可以匹配或接近最先进系统。
• 演示在来自 DailyMail 的高亮自动标注的大规模数据集上的训练。

提出的方法

• 使用分层文档读取器：对句子进行卷积编码并进行最大化池化以产生句子向量，再对句子向量进行基于 LSTM 的文档编码。
• 引入一个句子提取器，使用编码器和提取器隐藏状态对句子进行注意力驱动的标注，并通过课程学习来缓解训练/测试不匹配。
• 开发一个单词提取器，在从文档中抽取的受限词汇表上进行生成，使用分层注意力从输入内容中选择下一个单词。
• 从 DailyMail 训练两个大规模数据集：一个通过标注与高亮重叠度高的句子来建立句子提取数据集；一个通过将高亮词与文章内容匹配（对 OOV 词进行替换）来建立单词提取数据集。
• 在 DUC-2002 和 DailyMail 测试集上使用 ROUGE 进行评估，并进行人工评估；与基线（lead、logistic regression、ILP、tgraph、urank）以及一个 abstractive 基线进行对比。

实验结果

研究问题

• RQ1 神经编码器-提取器结构是否能在没有语言学标注的情况下有效地进行句子级抽取摘要？
• RQ2 该方法是否可以扩展到单词级提取，并使用受限词汇表的生成式解码器？
• RQ3 神经句子提取和单词提取模型与传统的基于特征和图/ILP 的方法在标准基准上的比较如何？
• RQ4 与小型带注释数据集相比，使用来自 DailyMail 的大规模数据对性能有何影响？
• RQ5 分层表示（句子 CNN 编码器 + 文档级 RNN）是否提升了显著性检测和摘要连贯性？

主要发现

• 句子提取模型 nn-se 在 DUC-2002 上的 Rouge 分数具有竞争力，优于若干基线且接近最先进水平，且未使用语言特征。
• 单词提取模型 nn-we 一致优于 abstractive 基线，并在复制自源文档时对专有名词和罕见词表现鲁棒。
• 两种神经提取器（nn-se 和 nn-we）在 DUC-2002 上通常优于或接近强基线（lead、lreg、ilp、tgraph、urank）；在 DailyMail 上，nn-se 在大多数 Rouge 指标仍然最强。
• 人工评估将 nn-se 排在前列，对 lead 及若干基线有显著偏好，接近人工黄金标准。
• 开放词汇的 abstractive 模型 nn-abs 的表现不及提取式单词模型 nn-we，凸显受限词汇提取在准确性和连贯性上的优势。