[论文解读] What comes next? Extractive summarization by next-sentence prediction

Jingyun Liu, Jackie Chi Kit Cheung+1 more|arXiv (Cornell University)|Jan 12, 2019

Topic Modeling参考文献 27被引用 12

一句话总结

本文提出 NextSum，一种新颖的抽取式摘要模型，通过结合源文章和先前已选摘要句，预测下一个应包含在摘要中的句子。通过建模摘要特有的语篇转换，NextSum 在无需显式长度约束或冗余过滤的情况下，实现了当前最优的 ROUGE-2 F-score，同时还能预测与人类撰写摘要高度相关的摘要长度。

ABSTRACT

Existing approaches to automatic summarization assume that a length limit for the summary is given, and view content selection as an optimization problem to maximize informativeness and minimize redundancy within this budget. This framework ignores the fact that human-written summaries have rich internal structure which can be exploited to train a summarization system. We present NEXTSUM, a novel approach to summarization based on a model that predicts the next sentence to include in the summary using not only the source article, but also the summary produced so far. We show that such a model successfully captures summary-specific discourse moves, and leads to better content selection performance, in addition to automatically predicting how long the target summary should be. We perform experiments on the New York Times Annotated Corpus of summaries, where NEXTSUM outperforms lead and content-model summarization baselines by significant margins. We also show that the lengths of summaries produced by our system correlates with the lengths of the human-written gold standards.

研究动机与目标

• 通过建模人类撰写摘要中的丰富内部结构，解决固定长度摘要的局限性。
• 通过学习摘要中的领域特定语篇模式，改进内容选择并减少冗余。
• 通过使模型能够预测摘要结束时机，消除对显式长度约束或冗余检查的需求。
• 开发一个统一模型，联合执行内容选择、冗余控制和长度预测。

提出的方法

• NextSum 使用前馈神经网络，基于源文章特征和当前摘要状态，预测摘要中的下一个句子。
• 该模型整合了诸如源文中句子的重要性、主题流行度以及当前摘要对源文档的覆盖程度等特征。
• 它利用下一句预测作为代理任务，学习摘要特有的语篇转换，如主题扩展或新主题引入。
• 系统通过迭代预测下一个句子，直至模型预测终止，从而生成完整摘要。
• 该方法在《纽约时报注释语料库》上进行训练，使用事件导向的新闻主题（如战争罪行、暗杀、炸弹事件）。
• 还训练了一个领域通用的变体，覆盖多种事件类型，以提升泛化能力。

实验结果

研究问题

• RQ1 一个下一句预测模型能否有效捕捉摘要特有的语篇结构，从而改善内容选择？
• RQ2 此类模型能否在无需显式长度约束的情况下自动预测摘要长度？
• RQ3 当不提供长度时，与首句和内容模型基线相比，性能如何？
• RQ4 模型预测的摘要长度是否与人类编写的摘要长度相关？
• RQ5 该模型能否在不进行微调的情况下，泛化到不同类型新闻事件？

主要发现

• 在所有领域中，NextSum 在 ROUGE-2 F-score 上均优于首句基线和内容模型基线，犯罪领域得分为 28.1，暗杀领域得分为 24.1。
• 在混合领域中，NextSum 取得 28.1 的 ROUGE-2 F-score，优于领域通用模型（22.5）和最优基线（36.3），相对性能更优。
• 模型预测的摘要长度与人类编写的摘要长度具有较强相关性，犯罪领域 Kendall Tau 为 0.46，炸弹事件领域为 0.28。
• 无固定长度约束的 NextSum（NextSum）优于带固定长度约束的 NextSum L，表明自动长度预测可提升性能。
• 系统成功学习到语篇转换，如主题扩展或新主题引入，如定性示例所示。
• 在源文章较短且摘要长度更一致的领域中，模型性能最强；在较长的炸弹事件领域中，相关性较低。