[论文解读] Topic Sensitive Neural Headline Generation

Lei Xu, Ziyun Wang+3 more|arXiv (Cornell University)|Aug 20, 2016

Topic Modeling参考文献 9被引用 4

一句话总结

本文提出了一种主题敏感的神经标题生成模型（TopicNHG），通过引入基于主题的编码器和解码器，并针对每个主题进行训练，从而提升标题质量。通过使用LDA为文档分配主题，并为每个主题训练独立的序列到序列模型，该方法在LCSTS数据集上实现了SOTA的ROUGE分数，所有指标均提升了4%的绝对值，且在各主题类别中表现一致，尤其在政治和经济主题中提升显著。

ABSTRACT

Neural models have recently been used in text summarization including headline generation. The model can be trained using a set of document-headline pairs. However, the model does not explicitly consider topical similarities and differences of documents. We suggest to categorizing documents into various topics so that documents within the same topic are similar in content and share similar summarization patterns. Taking advantage of topic information of documents, we propose topic sensitive neural headline generation model. Our model can generate more accurate summaries guided by document topics. We test our model on LCSTS dataset, and experiments show that our method outperforms other baselines on each topic and achieves the state-of-art performance.

研究动机与目标

• 通过显式建模主题特定的摘要模式，提升神经标题生成质量。
• 解决通用神经模型无法捕捉主题依赖摘要规律的局限性。
• 通过将主题信息整合到编码器-解码器架构中，提升标题的准确性和连贯性。
• 证明主题敏感建模可生成更聚焦、更具信息量的摘要，尤其适用于具有明显主题模式的内容。

提出的方法

• 使用潜在狄利克雷分配（LDA）为每篇文档分配主题标签。
• 为每个主题训练独立的序列到序列模型，其编码器和解码器均采用GRU结构。
• 使用主题感知注意力机制，基于主题特定的表示引导解码过程。
• 采用双向GRU进行输入文本编码，并将前向和后向隐藏状态拼接。
• 通过主题特定的参数共享和注意力机制，将文档-主题信息融入模型。
• 采用联合似然目标：p(y, l|x, θ1, θ2) = p(l|x, θ1)p(y|x, l, θ2)，结合主题推断与标题生成。

实验结果

研究问题

• RQ1 主题信息能否提升神经标题生成的质量？
• RQ2 不同主题是否表现出可被模型利用的差异性摘要模式？
• RQ3 训练主题特定的编码器和解码器是否优于单一通用模型？
• RQ4 主题敏感性在政治、经济和事故等多样化主题上的表现如何？
• RQ5 主题感知建模能否减少对表面线索（如句子顺序）的依赖，尤其在复杂主题中？

主要发现

• 在LCSTS数据集上，TopicNHG相较于基线模型，ROUGE-F1分数提升了4%的绝对值（38.4 vs. 34.7）。
• 该模型在所有ROUGE指标（Rouge-1、Rouge-2、Rouge-L）上均优于基线模型和CopyNet。
• 在各主题类别中，TopicNHG在每个类别均取得最高性能，其中政治主题的提升最大（Rouge-F1从33.1提升至39.6）。
• 案例研究显示，TopicNHG能正确识别政治微博中的关键内容，如“4000元经济适用房被取消”，而基线模型则错误地将重点放在记者发布会的公告上。
• 该模型表现出强鲁棒性和统计显著性，在每个主题上均持续优于基线，表明其有效学习了主题特定的摘要模式。
• TopicNHG降低了模型对首句显著性的过度依赖，尤其在关键信息出现在后文的主题中表现更优。