[论文解读] Planning with Learned Entity Prompts for Abstractive Summarization

Shashi Narayan, Yao Zhao+4 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling被引用 5

一句话总结

本文提出Frost方法，通过在训练阶段让模型先生成摘要中的实体链（即有序的实体序列）来改进抽取式摘要生成。在推理阶段，通过使用这些学习到的实体链作为解码器提示，模型在XSum和SAMSum数据集上实现了SOTA的ROUGE分数，提升了实体特异性与规划能力，并通过修改实体提示实现了有效的幻觉控制。

ABSTRACT

We introduce a simple but flexible mechanism to learn an intermediate plan to ground the generation of abstractive summaries. Specifically, we prepend (or prompt) target summaries with entity chains -- ordered sequences of entities mentioned in the summary. Transformer-based sequence-to-sequence models are then trained to generate the entity chain and then continue generating the summary conditioned on the entity chain and the input. We experimented with both pretraining and finetuning with this content planning objective. When evaluated on CNN/DailyMail, XSum, SAMSum and BillSum, we demonstrate empirically that the grounded generation with the planning objective improves entity specificity and planning in summaries for all datasets, and achieves state-of-the-art performance on XSum and SAMSum in terms of Rouge. Moreover, we demonstrate empirically that planning with entity chains provides a mechanism to control hallucinations in abstractive summaries. By prompting the decoder with a modified content plan that drops hallucinated entities, we outperform state-of-the-art approaches for faithfulness when evaluated automatically and by humans.

研究动机与目标

• 为解决神经抽取式摘要模型中内容规划与内容锚定的缺失问题，该问题常导致幻觉现象。
• 通过从参考摘要中提取的实体链引入中间规划步骤，以提升摘要质量。
• 通过修改实体提示以剔除幻觉实体，实现可控的、以忠实度为导向的摘要生成。
• 在不改变模型架构或引入外部系统的情况下，将内容规划无缝集成到预训练与微调过程中。
• 证明在多种摘要数据集中，基于实体的规划可同时提升摘要质量与可控性。

提出的方法

• 在训练过程中，将目标摘要前缀添加自动提取的实体链（即命名实体、日期和数字的有序序列）。
• 训练基于Transformer的编码器-解码器模型，使其首先生成实体链，然后在输入和实体链的共同条件下生成摘要。
• 在监督微调和自监督预训练中应用该方法，其中通过掩码句子生成实体链以实现重建。
• 在推理阶段使用实体链作为解码器提示，从而实现对内容焦点和幻觉缓解的控制。
• 通过筛选预测的实体链，仅保留源文档中存在的实体，实现‘去提示’（drop-prompt）机制，提升忠实度。
• 通过对比解码器提示（Frost）与将实体编码到输入中（如Pegasus、CTRLsum）的解码策略，证明Frost在性能上更优。

实验结果

研究问题

• RQ1 学习将实体链作为中间规划步骤是否能提升抽取式摘要的质量与内容锚定？
• RQ2 在预训练和微调阶段引入实体链预测，是否能在多种数据集中提升ROUGE分数与实体级指标？
• RQ3 通过提示修改，能否有效利用实体链提示来控制抽取式摘要中的幻觉？
• RQ4 与输入编码控制方法（如CTRLsum、GSum）相比，解码器提示内容规划（Frost）在摘要质量与忠实度方面表现如何？
• RQ5 Frost在不重新训练的前提下，通过操纵实体提示在多大程度上可实现多样性和风格可控的摘要生成？

主要发现

• Frost在XSum（ROUGE-1: 61.85, ROUGE-2: 38.95, ROUGE-L: 59.00）和SAMSum上实现了SOTA的ROUGE分数，优于Pegasus及其他基线模型。
• 在CNN/DailyMail数据集上，Frost相比标准微调方法提升了实体特异性和规划指标，同时保持了具有竞争力的ROUGE分数。
• ‘去提示’机制（从预测的实体链中剔除幻觉实体）显著提升了忠实度，在自动评估与人工评估中均优于SOTA方法。
• Frost模型生成的摘要更简洁（平均60.70个token），优于Pegasus（68.65）和CTRLSum（74.46），表明其具备更好的规划与聚焦能力。
• 在XSum上，使用实体链作为解码器提示（Frost）在摘要级ROUGE与实体级指标上均优于输入编码方法（如CTRLsum与Pegasus变体）。
• 通过修改实体提示（无需微调），Frost可有效控制摘要内容，包括主题多样性与风格，实现内容可控生成。