[论文解读] Sequence Level Contrastive Learning for Text Summarization

Shusheng Xu, Xingxing Zhang+2 more|arXiv (Cornell University)|Sep 8, 2021

Topic Modeling被引用 23

一句话总结

本文提出 SeqCo，一种用于抽取式文本摘要的序列级对比学习框架，通过在共享向量空间中对齐文档、黄金摘要和模型生成摘要的表征，提升了 BART 模型的性能。该方法在三个数据集（CNN/DailyMail、NYT、XSum）上持续提升了 ROUGE 分数和人工评估的忠实度，显著提高了忠实度并减少了幻觉现象。

ABSTRACT

Contrastive learning models have achieved great success in unsupervised visual representation learning, which maximize the similarities between feature representations of different views of the same image, while minimize the similarities between feature representations of views of different images. In text summarization, the output summary is a shorter form of the input document and they have similar meanings. In this paper, we propose a contrastive learning model for supervised abstractive text summarization, where we view a document, its gold summary and its model generated summaries as different views of the same mean representation and maximize the similarities between them during training. We improve over a strong sequence-to-sequence text generation model (i.e., BART) on three different summarization datasets. Human evaluation also shows that our model achieves better faithfulness ratings compared to its counterpart without contrastive objectives.

研究动机与目标

• 解决标准序列到序列训练中缺乏对文档与其摘要之间语义等价性的显式建模问题。
• 通过鼓励模型学习同一内容在不同视图下的共享语义表征，提升抽取式摘要性能。
• 通过对齐文档、黄金摘要和模型生成摘要的表征，减少幻觉现象并提升生成摘要的忠实度。
• 探索在对比学习中使用动态生成摘要作为额外视图的有效性，以提升泛化能力与多样性。

提出的方法

• 将输入文档、其黄金摘要以及模型生成的摘要视为同一潜在语义表征的不同视图。
• 采用对比目标训练基于 BART 的模型，以最大化文档及其摘要（黄金与生成）的上下文表征之间的相似性。
• 使用对比损失函数，最小化正样本对（相同文档-摘要对）之间的距离，同时最大化负样本对（不同文档-摘要对）之间的距离。
• 在训练过程中同时将黄金摘要和模型生成摘要作为正样本视图，以提升多样性并增强鲁棒性。
• 应用单一相似性损失（如基于句子级或序列级表征的对比损失），以避免过拟合并降低训练成本。
• 端到端微调模型，结合负对数似然损失与所提出的对比目标，以保持生成质量与语义对齐。

实验结果

研究问题

• RQ1 序列级对比学习是否能通过显式建模文档与摘要之间的语义等价性，提升抽取式文本摘要性能？
• RQ2 在训练过程中使用模型生成的摘要作为额外正样本视图，是否能增强模型的泛化能力与忠实度？
• RQ3 与标准 NLL 训练相比，对比目标如何影响生成摘要中的幻觉与事实一致性？
• RQ4 在不同摘要数据集（具有不同抽象特性）上，最优的对比目标配置（如 x-y、x-ŷ、y-ŷ）是什么？
• RQ5 结合多个对比目标是否带来性能提升，还是仅增加训练成本而无实际收益？

主要发现

• SeqCo 在所有三个数据集上均一致地提升了 ROUGE 分数：CNNDM（+1.2 ROUGE-L）、NYT（+1.2 ROUGE-L）、XSum（+0.8 ROUGE-L）。
• 人工评估显示，SeqCo 的忠实度评分显著优于 BART（p < 0.05），其忠实度评分的平均排名更低。
• 该模型生成的摘要中，相对于源文档具有更高比例的新颖 n-gram，表明其具备更强的抽象能力，同时未牺牲事实一致性。
• 在高度抽象的 XSum 数据集中，使用生成摘要作为正样本视图的效果劣于仅使用黄金摘要，表明早期训练中对生成质量较为敏感。
• 消融实验表明，使用单一对比损失（如 x-y）已足够且更高效，因为多个损失仅带来微小增益，却使训练时间增加 30%。
• 该模型在保持或略微提升抽象行为（由新颖 n-gram 统计数据表明）的同时，减少了幻觉现象并提升了忠实度。