[论文解读] Transductive Learning for Abstractive News Summarization

Arthur Bražinskas, Mengwen Liu+3 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling被引用 2

一句话总结

本文首次将归纳学习（transductive learning）应用于生成式新闻摘要任务，通过在推理阶段利用输入文章中的关键句子对微调模型进行进一步适应，以提升摘要质量。通过在微调阶段联合预测抽取式伪参考摘要与生成式摘要，并在推理阶段执行归纳学习，该方法在CNN/DM数据集上达到SOTA的ROUGE-L分数（+1.05），在NYT数据集上提升0.74，同时显著改善了摘要的抽象性与连贯性。

ABSTRACT

Pre-trained and fine-tuned news summarizers are expected to generalize to news articles unseen in the fine-tuning (training) phase. However, these articles often contain specifics, such as new events and people, a summarizer could not learn about in training. This applies to scenarios such as a news publisher training a summarizer on dated news and summarizing incoming recent news. In this work, we explore the first application of transductive learning to summarization where we further fine-tune models on test set inputs. Specifically, we construct pseudo summaries from salient article sentences and input randomly masked articles. Moreover, this approach is also beneficial in the fine-tuning phase, where we jointly predict extractive pseudo references and abstractive gold summaries in the training set. We show that our approach yields state-of-the-art results on CNN/DM and NYT datasets, improving ROUGE-L by 1.05 and 0.74, respectively. Importantly, our approach does not require any changes of the original architecture. Moreover, we show the benefits of transduction from dated to more recent CNN news. Finally, through human and automatic evaluation, we demonstrate improvements in summary abstractiveness and coherence.

研究动机与目标

• 解决在测试文章包含训练阶段未见的新实体与事件时，生成式摘要任务中的泛化差距问题。
• 通过利用测试输入内容在推理阶段微调模型，提升模型在近期或未见新闻上的性能。
• 在不修改原始模型架构的前提下，增强摘要的抽象性与连贯性。
• 展示归纳学习在低资源或领域分布偏移场景下的有效性，例如在基于日期化数据训练后，对更近期新闻进行摘要。

提出的方法

• 通过一个独立的抽取式模型，从测试输入文章中选取关键句子，构建抽取式伪参考摘要。
• 应用去噪目标，从掩码后的输入文章中预测关键句子，以平衡复制与生成行为。
• 在训练阶段，联合微调模型以同时学习生成式真实摘要与抽取式伪参考摘要。
• 通过在测试输入上进一步微调模型，执行归纳学习，利用关键句子与掩码输入，采用相同的双重目标。
• 在联合微调过程中，仅使用约5%的训练数据进行生成式监督，最大限度降低额外训练成本。
• 保持原始模型架构不变，无需结构修改，支持与现有模型无缝集成。

实验结果

研究问题

• RQ1 当测试文章包含训练数据中未出现的新实体与事件时，归纳学习能否提升生成式摘要的性能？
• RQ2 在微调阶段联合预测抽取式伪参考摘要与生成式摘要，对模型泛化能力与摘要质量有何影响？
• RQ3 在测试输入上执行归纳学习，是否能生成比标准微调更抽象、更连贯的摘要？
• RQ4 该方法能否有效将基于日期化新闻训练的模型，适配于更近期、未见过的新闻文章摘要任务？
• RQ5 使用关键句子选择与去噪目标对模型性能与训练效率有何影响？

主要发现

• 所提出的TRSUM方法在CNN/DM数据集上达到SOTA的ROUGE-L分数，相比之前方法提升1.05分。
• 在NYT数据集上，该方法ROUGE-L提升0.74分，表明在不同领域中均具有一致性增益。
• 归纳学习显著提升了摘要的抽象性与连贯性，经自动评估与人工评估共同验证。
• 即使在仅用日期化新闻微调后，该方法在处理近期新闻时仍保持高性能，展现出强大的领域泛化能力。
• 归纳学习仅在8-GPU实例上增加约15分钟的推理时间计算开销，具备实际部署可行性。
• 与仅使用生成式参考摘要的标准微调相比，联合微调抽取式伪参考摘要与生成式摘要的方法性能更优。