[论文解读] Towards Improving Faithfulness in Abstractive Summarization

Xiuying Chen, Mingzhe Li+2 more|arXiv (Cornell University)|Oct 4, 2022

Topic Modeling被引用 14

一句话总结

本文提出FES，一种增强忠实性的抽取式摘要模型，通过集成多任务问答（QA）头以增强编码器对输入文档的理解，并引入最大间隔损失以降低语言模型的过度自信，从而提升事实一致性。在CNN/DM和XSum数据集上的实验表明，FES在ROUGE分数和事实一致性方面显著优于强基线模型。

ABSTRACT

Despite the success achieved in neural abstractive summarization based on pre-trained language models, one unresolved issue is that the generated summaries are not always faithful to the input document. There are two possible causes of the unfaithfulness problem: (1) the summarization model fails to understand or capture the gist of the input text, and (2) the model over-relies on the language model to generate fluent but inadequate words. In this work, we propose a Faithfulness Enhanced Summarization model (FES), which is designed for addressing these two problems and improving faithfulness in abstractive summarization. For the first problem, we propose to use question-answering (QA) to examine whether the encoder fully grasps the input document and can answer the questions on the key information in the input. The QA attention on the proper input words can also be used to stipulate how the decoder should attend to the source. For the second problem, we introduce a max-margin loss defined on the difference between the language and the summarization model, aiming to prevent the overconfidence of the language model. Extensive experiments on two benchmark summarization datasets, CNN/DM and XSum, demonstrate that our model significantly outperforms strong baselines. The evaluation of factual consistency also shows that our model generates more faithful summaries than baselines.

研究动机与目标

• 解决因编码器对源文档理解不足而导致的抽取式摘要内在错误。
• 缓解因语言模型过度自信而引发的幻觉内容生成等外在错误。
• 通过联合训练摘要任务与辅助QA任务，提升模型的语义理解能力，从而增强模型忠实性。
• 通过最大间隔损失降低语言模型预测的过度自信，特别惩罚低概率但高风险的token生成。
• 在不牺牲流畅性或关键信息保留的前提下，提升生成摘要的事实一致性。

提出的方法

• 提出一种多任务学习框架，使编码器在源文档的关键信息上同时优化摘要和问答任务。
• 利用QA注意力权重引导解码器与相关编码器表示对齐，提升注意力的准确性。
• 基于语言模型与摘要模型logits的差异定义一个间隔指标$ m_t $，用于衡量过度自信程度。
• 应用最大间隔损失，最小化过度自信指标，尤其针对语言模型概率较低的token。
• 端到端训练模型，损失函数结合摘要损失、QA损失与最大间隔损失。
• 以预训练模型（如BART）为骨干网络，通过引入辅助任务与损失进行微调。

实验结果

研究问题

• RQ1 辅助问答任务能否提升编码器对源文档关键语义内容的理解？
• RQ2 通过最大间隔损失降低语言模型过度自信，是否能减少摘要中幻觉或外在事实性错误？
• RQ3 基于问答的监督与过度自信正则化相结合，能否共同提升抽取式摘要的事实一致性？
• RQ4 所提出的FES模型在ROUGE分数与忠实性指标上，相较于强基线模型，性能提升程度如何？
• RQ5 QA注意力与最大间隔损失在抑制不同类型错误的生成方面，如何协同作用？

主要发现

• FES在CNN/DM与XSum数据集上均达到当前最优性能，相较于强基线模型，ROUGE分数有显著提升。
• 与BART相比，FES将负间隔token比例降低了2.33%，平均间隔值提升0.11分。
• 接近零的间隔值比例（表明过度自信预测）显著降低，尤其在实体词上更为明显，证实了过度自信的减少。
• 案例研究显示，FES消除了BART、PEGASUS与SimCLS中出现的内在错误（误解源文本内容）与外在错误（幻觉短语）。
• QA任务与最大间隔损失提供互补优势：QA提升语义定位能力，而间隔损失抑制语言模型过度自信。
• 错误分析表明，部分不忠实的命名实体出现在摘要中，可能源于训练数据泄漏，提示后续编辑可进一步提升忠实性。