[论文解读] Neural Headline Generation with Sentence-wise Optimization

Ayana Ayana, Shiqi Shen+3 more|arXiv (Cornell University)|Apr 7, 2016

Topic Modeling参考文献 25被引用 39

一句话总结

本文提出最小风险训练（MRT）用于神经文本标题生成（NHG），通过使用基于ROUGE的损失函数在句-level直接优化模型参数，而非传统的词-level最大似然估计。实验表明，MRT在英文和中文数据集上均显著提升了标题质量，优于当前最先进系统，通过使训练过程与评估指标对齐。

ABSTRACT

Recently, neural models have been proposed for headline generation by learning to map documents to headlines with recurrent neural networks. Nevertheless, as traditional neural network utilizes maximum likelihood estimation for parameter optimization, it essentially constrains the expected training objective within word level rather than sentence level. Moreover, the performance of model prediction significantly relies on training data distribution. To overcome these drawbacks, we employ minimum risk training strategy in this paper, which directly optimizes model parameters in sentence level with respect to evaluation metrics and leads to significant improvements for headline generation. Experiment results show that our models outperforms state-of-the-art systems on both English and Chinese headline generation tasks.

研究动机与目标

• 为解决神经文本标题生成中词-level优化的局限性，该方法无法与句-level评估指标（如ROUGE）对齐。
• 通过使用基于ROUGE分数的句级损失函数，直接优化模型参数，以提升标题质量。
• 探究最小风险训练（MRT）是否能在英文和中文语言设置下提升文本标题生成性能。
• 在不同词汇约束条件下（仅输入词汇、扩展输入词汇、全词汇）评估MRT的有效性，以权衡效率与性能。
• 探索MRT在不同评估指标下的鲁棒性，以及其在减少重复和提升生成标题事实一致性方面的能力。

提出的方法

• 提出一种最小风险训练（MRT）策略，通过最小化基于ROUGE分数推导出的句级损失函数来优化模型参数。
• 通过使用束搜索计算候选标题的期望风险，并以ROUGE-F1作为评估指标，将MRT适配至神经文本标题生成任务。
• 采用编码器-解码器架构，结合双向GRU和注意力机制，从输入文档生成标题。
• 通过为每个输入采样多个候选标题，并计算这些候选标题的平均ROUGE-F1作为期望风险，实现MRT。
• 引入三种词汇约束——仅输入词汇、扩展输入词汇和全词汇，以研究效率与性能之间的权衡。
• 使用预训练的Google-News词向量，通过为每个输入词检索100个最近邻词，构建扩展词汇表。

实验结果

研究问题

• RQ1 最小风险训练（MRT）是否能通过使训练与句级评估指标（如ROUGE）对齐，从而提升文本标题生成性能？
• RQ2 在英文和中文数据集上，MRT与最大似然估计（MLE）相比，在ROUGE分数和标题质量方面表现如何？
• RQ3 当使用不同ROUGE指标或词汇约束时，MRT带来的性能提升是否保持稳定？
• RQ4 MRT能否减少文本标题生成中的常见问题，如词语重复和语义不连贯？
• RQ5 在低词汇量设置（如仅输入词汇或扩展输入词汇）下，MRT是否依然有效？

主要发现

• 与基于MLE的NHG相比，MRT在英文和中文文本标题生成数据集上均实现了显著且一致的性能提升。
• 在英文DUC-2004数据集上，MRT相比MLE将ROUGE-F1提升了3.2分，优于当前最先进系统。
• 在中文Sogou数据集上，MRT达到ROUGE-F1为42.1，较之前SOTA高出2.5分。
• MRT模型减少了重复问题：例如，它避免了在标题中多次重复出现'Alaska'，而基于MLE的模型则存在此类问题。
• MRT在不同词汇约束下性能稳定，其中'扩展输入'词汇设置在仅使用全词汇表数百分之一的词量下，即可达到与'全词汇'相近的性能。
• 案例研究证实，MRT通过更好地捕捉核心主题并使用更恰当的词汇选择，生成了更准确、更具信息量的标题。