[论文解读] Point-less: More Abstractive Summarization with Pointer-Generator Networks

Freek Boutkan, Jorn Ranzijn+2 more|arXiv (Cornell University)|Apr 18, 2019

Topic Modeling参考文献 23被引用 7

一句话总结

本文针对指针-生成网络在抽象文本摘要中的应用提出改进，旨在提升抽象性的同时保持ROUGE得分。通过引入多头注意力机制、指针dropout以及两种新型损失函数——词先验损失（Word Prior Loss）与指针正则化损失（Pointer Regularization），模型在新颖句子数量上提升了12.5%，N-gram新颖性显著提高，但ROUGE得分略有下降。

ABSTRACT

The Pointer-Generator architecture has shown to be a big improvement for abstractive summarization seq2seq models. However, the summaries produced by this model are largely extractive as over 30% of the generated sentences are copied from the source text. This work proposes a multihead attention mechanism, pointer dropout, and two new loss functions to promote more abstractive summaries while maintaining similar ROUGE scores. Both the multihead attention and dropout do not improve N-gram novelty, however, the dropout acts as a regularizer which improves the ROUGE score. The new loss function achieves significantly higher novel N-grams and sentences, at the cost of a slightly lower ROUGE score.

研究动机与目标

• 解决指针-生成模型中对抽取式复制的过度依赖问题，以提升抽象摘要质量。
• 提升模型生成新颖、重述性内容的能力，同时保持流畅性与事实一致性。
• 在保持竞争性ROUGE得分的同时，增加生成摘要中新颖N-gram与句子的数量。
• 探究ROUGE作为抽象摘要评估指标的局限性，并提出替代性评估指标。
• 探索训练阶段的干预措施，如调度式教师强制（scheduled teacher-forcing）与正则化方法，以缩小训练与推理之间的分布差距。

提出的方法

• 在源文本上引入多头注意力机制，以学习指向与生成任务中多样的注意力模式。
• 对指针机制应用dropout，以正则化其使用，减少对源文本的过度复制依赖。
• 设计词先验损失（Word Prior Loss），以鼓励生成源文本中未出现的词汇，促进内容抽象化。
• 基于词频先验设计指针正则化损失（Pointer Regularization loss），以抑制对罕见或低频源词的过度复制。
• 将上述技术与标准指针-生成框架结合，构建端到端可训练的模型。
• 采用调度式教师强制策略，在训练过程中逐步减少真实标签的监督，使训练与推理行为趋于一致。

实验结果

研究问题

• RQ1 在不降低ROUGE得分的前提下，对源文本引入多头注意力是否能提升指针-生成模型的抽象性？
• RQ2 对指针机制应用dropout是否能减少对复制的过度依赖，并提升新颖N-gram的生成数量？
• RQ3 新型损失函数——词先验损失与指针正则化损失——是否能显著提升新颖句子与N-gram的数量，同时保持摘要质量？
• RQ4 所提方法在多大程度上缓解了序列到序列模型在训练与推理行为之间的差异？
• RQ5 新损失函数与现有组件（如覆盖机制）之间如何相互作用？是否加剧了过度生成问题？

主要发现

• 词先验损失使新颖句子数量相比基线模型提升了12.5%。
• 指针正则化损失显著提升了新颖N-gram的生成，但导致ROUGE得分略有下降。
• 指针dropout减少了对指针机制的过度依赖，反而提升了ROUGE得分，并带来了适度的新颖性增益，与初始预期相反。
• 多头注意力未提升ROUGE得分或新颖性，表明该架构下其收益有限。
• VERT指标与ROUGE完全相关，未能为语义质量或抽象性提供新的洞察。
• 尽管新颖N-gram数量增加，摘要长度保持稳定，表明新词主要为替换而非新增内容，支持了重述而非扩展的结论。