[论文解读] Self-Attentive Model for Headline Generation

Daniil Gavrilov, Pavel Kalaidin+1 more|arXiv (Cornell University)|Jan 23, 2019

Topic Modeling参考文献 11被引用 5

一句话总结

本文提出了一种基于通用变换器架构并结合字节对编码（BPE）的自注意力标题生成模型，在《纽约时报注释语料库》上取得了最先进结果（ROUGE-L F1: 24.84），并引入了用于俄语标题生成的RIA语料库，其ROUGE-L F1达到36.81。该模型利用非局部注意力机制捕捉长距离依赖关系，从而在抽象摘要生成方面超越了标准RNN方法。

ABSTRACT

Headline generation is a special type of text summarization task. While the amount of available training data for this task is almost unlimited, it still remains challenging, as learning to generate headlines for news articles implies that the model has strong reasoning about natural language. To overcome this issue, we applied recent Universal Transformer architecture paired with byte-pair encoding technique and achieved new state-of-the-art results on the New York Times Annotated corpus with ROUGE-L F1-score 24.84 and ROUGE-2 F1-score 13.48. We also present the new RIA corpus and reach ROUGE-L F1-score 36.81 and ROUGE-2 F1-score 22.15 on it.

研究动机与目标

• 通过利用通用变换器建模长距离依赖关系的能力，提升抽象标题生成性能。
• 解决生成简洁、信息丰富且能捕捉新闻文章核心思想的标题的挑战。
• 引入并评估一个全新的俄语标题语料库——RIA语料库，以支持跨语言基准测试。
• 证明非局部注意力机制在标题生成中优于局部RNN模型。
• 通过自动指标（ROUGE）和人工评估综合评估模型性能。

提出的方法

• 采用通用变换器架构，即对隐藏表示进行迭代优化的改进型Transformer，以更好地建模长距离依赖关系。
• 使用字节对编码（BPE）对源序列和目标序列进行分词，以提升子词级别的表征学习能力。
• 在训练过程中应用标签平滑，以提升泛化能力并降低预测的过度自信。
• 采用编码器-解码器框架，结合自注意力机制，使模型在生成标题时能关注输入文章的相关部分。
• 采用贪婪解码和束搜索解码策略，逐标记生成标题，其中束搜索产生更高质量的输出。
• 使用最大似然估计（MLE）进行端到端训练，以最大化标准参考标题的似然概率。

实验结果

研究问题

• RQ1 与标准RNN基线模型相比，通用变换器架构是否能提升标题生成性能？
• RQ2 使用非局部注意力机制是否能更有效地捕捉新闻文章中的长距离依赖关系？
• RQ3 该模型在新引入的俄语标题语料库（RIA）上的表现如何，相较于现有基线模型？
• RQ4 标签平滑在多大程度上提升了抽象生成中的泛化能力和标题质量？
• RQ5 在人工评估中，模型输出与人工撰写的标题有多接近？

主要发现

• 所提出的通用变换器模型在《纽约时报注释语料库》上取得了新的最先进ROUGE-L F1分数24.84，超越了先前的抽象生成模型。
• 在新引入的RIA语料库上，模型取得了36.81的ROUGE-L F1分数，表明其在低资源、非英语语境下也表现出色。
• 人工评估显示，该模型生成的标题在NYT语料库中有42.6%的情况下优于人工标题，在RIA语料库中为45.6%，表明其具备接近人类水平的质量。
• 在两个数据集上，该模型在所有ROUGE指标上均优于基线编码器-解码器模型和首句基线模型。
• 消融实验表明，标签平滑提升了模型泛化能力，表现为F1分数略有提升。
• 尽管自动指标表现优异，部分人工标注者仍认为生成的标题在语义连贯性方面略显不合理，表明在该方面仍有改进空间。