[论文解读] Neural Document Summarization by Jointly Learning to Score and Select Sentences

Qingyu Zhou, Nan Yang+4 more|arXiv (Cornell University)|Jul 6, 2018

Topic Modeling参考文献 27被引用 14

一句话总结

本文提出NeuSum，一种新颖的端到端神经框架，用于抽取式文档摘要，通过层次编码器和循环句子提取器联合学习句子评分与选择。通过基于先前已选句子建模相对重要性，该模型在CNN/Daily Mail数据集上实现了SOTA的ROUGE分数，优于以往分离的评分与选择方法。

ABSTRACT

Sentence scoring and sentence selection are two main steps in extractive document summarization systems. However, previous works treat them as two separated subtasks. In this paper, we present a novel end-to-end neural network framework for extractive document summarization by jointly learning to score and select sentences. It first reads the document sentences with a hierarchical encoder to obtain the representation of sentences. Then it builds the output summary by extracting sentences one by one. Different from previous methods, our approach integrates the selection strategy into the scoring model, which directly predicts the relative importance given previously selected sentences. Experiments on the CNN/Daily Mail dataset show that the proposed framework significantly outperforms the state-of-the-art extractive summarization models.

研究动机与目标

• 解决传统抽取式摘要系统将句子评分与选择视为独立、非交互任务的局限性。
• 开发一种可端到端训练的神经模型，联合优化句子评分与选择，无需手工特征。
• 通过支持动态、历史感知的句子选择（考虑先前选择的影响），提升摘要性能。
• 通过学习统一的优化过程，减少对启发式选择策略（如最大边际相关性或整数线性规划）的依赖。
• 证明评分与选择的联合学习可实现与人工标注摘要更好的对齐，尤其在选择非首句、高影响力句子方面。

提出的方法

• 层次编码器通过堆叠的双向LSTM层处理文档句子，捕捉局部与全局上下文。
• 循环句子提取器维护一个表示部分摘要的隐藏状态，用于在每一步条件化句子评分。
• 在每一步，模型基于句子表征与当前抽取状态，计算剩余句子的相对重要性分数，实现上下文感知的选择。
• 模型采用可微分的评分机制，整合句子显著性与与已选句子的冗余度，支持端到端反向传播。
• 通过序列生成损失进行训练，利用强化学习或监督解码优化最终摘要。
• 该架构避免手工特征，而是直接从原始文本学习表征，提升泛化能力与适应性。

实验结果

研究问题

• RQ1 与分别优化相比，评分与选择的联合学习是否能提升抽取式摘要性能？
• RQ2 基于当前摘要状态建模句子相对重要性，如何影响对非首句、高价值句子的选择？
• RQ3 模型保持选择历史的能力在多大程度上减少误差传播并改善后续选择？
• RQ4 与强基线模型NN-SE和oracle相比，联合框架在句子位置分布及每一步的精确率方面表现如何？
• RQ5 无手工特征的端到端训练是否能带来更好的泛化能力与标准基准上的更高ROUGE分数？

主要发现

• NeuSum在CNN/Daily Mail测试集上达到ROUGE-1为42.12、ROUGE-2为19.87、ROUGE-L为39.05，显著优于NN-SE基线与SOTA方法。
• 在首次句子选择步骤，NeuSum的精确率为40.38%，较NN-SE基线提升1.2个百分点。
• 在第二步，NeuSum的精确率达到31.52%，较NN-SE基线的28.28%提升3.24个百分点。
• 模型从首五行中选择58.64%的句子，更接近oracle（10%）而非NN-SE基线（80.91%），表明选择更具平衡性。
• NeuSum从位置4–6中提取30%的句子，而NN-SE几乎未提取，表明其在选择非首句、高影响力内容方面能力更强。
• 模型在各步骤性能保持稳定，联合学习机制减少了对首句的过度依赖，尤其在尾部句子更重要的模糊情况下表现更优。