[论文解读] Ranking Sentences for Extractive Summarization with Reinforcement Learning

Shashi Narayan, Shay B. Cohen+1 more|arXiv (Cornell University)|Feb 23, 2018

Topic Modeling被引用 6

一句话总结

本文提出了一种基于强化学习的句子排序模型，用于抽取式摘要生成，直接优化ROUGE评估指标，在CNN/DailyMail数据集上，无论是自动评估还是人工评估，其表现均优于当前最先进的抽取式和生成式模型。通过使用基于ROUGE的奖励信号，利用策略梯度训练分层神经网络对句子进行排序，该模型生成的摘要比交叉熵训练的基线模型更加简洁、信息量更丰富且语言更流畅。

ABSTRACT

Single document summarization is the task of producing a shorter version of a document while preserving its principal information content. In this paper we conceptualize extractive summarization as a sentence ranking task and propose a novel training algorithm which globally optimizes the ROUGE evaluation metric through a reinforcement learning objective. We use our algorithm to train a neural summarization model on the CNN and DailyMail datasets and demonstrate experimentally that it outperforms state-of-the-art extractive and abstractive systems when evaluated automatically and by humans.

研究动机与目标

• 解决标准交叉熵训练与抽取式摘要中ROUGE评估指标之间的不匹配问题。
• 通过强化学习全局优化ROUGE指标，提升摘要质量。
• 证明全局训练的抽取式模型在信息量和完整性方面可超越生成式模型。
• 表明通过策略梯度强化学习进行句子排序，可生成更简洁、更富信息量的摘要。
• 通过大规模人工评估，对比抽取式与生成式系统，验证该方法的有效性。

提出的方法

• 该模型采用分层编码器-解码器架构，包含文档编码器和句子提取器，用于评估每句话的抽取价值。
• 将最大似然交叉熵损失与使用REINFORCE算法的策略梯度目标相结合。
• 奖励函数基于候选摘要与标准摘要之间的ROUGE分数，为句子排序提供密集反馈。
• 通过选择排名靠前的句子生成候选摘要，模型通过策略梯度更新，以提高高ROUGE得分选择的可能性。
• 训练过程探索候选摘要空间，学习排序那些频繁出现在高分摘要中的句子。
• 该方法避免依赖语言学特征或人工启发式规则，直接从数据中学习连续表示。

实验结果

研究问题

• RQ1 使用基于ROUGE的奖励信号进行强化学习，能否使抽取式摘要性能超越交叉熵训练？
• RQ2 全局优化ROUGE指标是否能生成比标准训练目标更具信息量且更简洁的摘要？
• RQ3 在人工评估中，全局训练的抽取式模型与当前最先进的生成式模型相比表现如何？
• RQ4 通过策略梯度训练的句子排序模型能否在标准基准上超越现有的抽取式和生成式系统？
• RQ5 在人工标注的评估中，该模型在多大程度上保留了源文档中的关键信息？

主要发现

• 所提出的模型在CNN和DailyMail数据集上的自动ROUGE评估中，优于当前最先进的抽取式和生成式模型。
• 人工评估显示，参与者更倾向于该模型生成的摘要，认为其在信息量和完整性方面优于生成式系统。
• 与交叉熵训练的模型相比，该模型生成的摘要更简洁，冗余更少。
• 强化学习目标成功使模型的句子排序与ROUGE指标对齐，从而提升了整体摘要质量。
• 结果表明，尽管生成式模型具有更高的灵活性，但在人工评估中，其表现并不总是优于全局优化的抽取式模型。
• 该方法证明，通过强化学习直接优化评估指标，对抽取式摘要是有效的。