[论文解读] Source-side Prediction for Neural Headline Generation

Shun Kiyono, Sho Takase+4 more|arXiv (Cornell University)|Dec 22, 2017

Natural Language Processing Techniques参考文献 18被引用 12

一句话总结

该论文提出了一种源端预测模块（SPM）用于神经摘要标题生成，通过联合建模源文本和目标文本的词表分布，无需对齐数据即可学习词粒度的对应关系。SPM通过减少冗余、缺失或无关短语，提升序列生成质量，在标题生成基准上超越了当前最先进模型，同时隐式学习到有意义的对齐关系。

ABSTRACT

The encoder-decoder model is widely used in natural language generation tasks. However, the model sometimes suffers from repeated redundant generation, misses important phrases, and includes irrelevant entities. Toward solving these problems we propose a novel source-side token prediction module. Our method jointly estimates the probability distributions over source and target vocabularies to capture a correspondence between source and target tokens. The experiments show that the proposed model outperforms the current state-of-the-art method in the headline generation task. Additionally, we show that our method has an ability to learn a reasonable token-wise correspondence without knowing any true alignments.

研究动机与目标

• 解决抽取式摘要中的异常生成问题，包括冗余、缺失或无关短语。
• 通过建模源序列与目标序列之间的词粒度对应关系，提升神经标题生成性能。
• 在无需标准对齐标注的情况下，学习源目标词粒度之间的有意义对齐。
• 通过在编码器-解码器框架中引入源与目标词表的联合概率估计，增强模型架构。
• 在减少幻觉和重复现象的同时，超越现有最先进模型在标题生成任务上的表现。

提出的方法

• 将SPM添加至解码器输出层，在每个解码步骤预测源词表上的概率分布。
• 联合估计源词表与目标词表的概率分布，以建模词粒度的对应关系。
• 最小化损失函数 ℓ_src，将其用于比较预测的源词概率总和与实际的源词计数。
• 使模型能够学习哪些源词是相关的，哪些应被舍弃，即使没有真实对齐数据。
• 将该方法集成至标准的EncDec模型（带注意力机制），形成EncDec+SPM，并进行端到端训练。
• 模型学会为关键源词分配高概率，为非必要或冗余的词分配低概率。

实验结果

研究问题

• RQ1 源端预测模块能否减少标题生成中的冗余、缺失或无关短语？
• RQ2 模型能否在无标准对齐数据的情况下，学习到源目标序列之间的有意义词粒度对齐？
• RQ3 与最先进模型相比，该方法是否在自动评估和人工评估指标上均有提升？
• RQ4 SPM在捕捉源-目标对应关系方面，与注意力机制相比表现如何？
• RQ5 SPM能否与sGate或频率估计等其他模块有效结合？

主要发现

• 所提出的EncDec+SPM模型在Gigaword标题生成数据集上超越了当前最先进方法。
• SPM显著减少了异常生成现象，包括重复短语、关键内容缺失和无关词的出现。
• 可视化结果表明，SPM学习到的词粒度对应关系比标准注意力机制更离散、更准确。
• SPM能成功识别并抑制非必要源词（如‘straight’、‘tuesday’），将其分配至<pad>标记。
• 模型在无真实对齐监督的情况下，仍能学习到合理的对齐关系，展现出零样本对齐能力。
• 即使与sGate等其他模块结合，SPM仍能提升性能，表明其具备良好的兼容性与泛化能力。