[论文解读] Neural Abstractive Text Summarization and Fake News Detection

Soheil Esmaeilzadeh, Gao Xian Peh+1 more|arXiv (Cornell University)|Mar 24, 2019

Topic Modeling参考文献 20被引用 31

一句话总结

本文提出了一种基于指针-生成网络与注意力机制及覆盖机制的神经抽象式文本摘要模型，该模型在减少未登录词（OOV）错误和重复方面优于基线模型。研究进一步表明，该模型生成的摘要显著提升了虚假新闻检测的准确率——达到93%，相较于使用完整文章文本的92%有所提升，凸显了摘要作为下游NLP任务中有效特征工程技术的潜力。

ABSTRACT

In this work, we study abstractive text summarization by exploring different models such as LSTM-encoder-decoder with attention, pointer-generator networks, coverage mechanisms, and transformers. Upon extensive and careful hyperparameter tuning we compare the proposed architectures against each other for the abstractive text summarization task. Finally, as an extension of our work, we apply our text summarization model as a feature extractor for a fake news detection task where the news articles prior to classification will be summarized and the results are compared against the classification using only the original news text. keywords: LSTM, encoder-deconder, abstractive text summarization, pointer-generator, coverage mechanism, transformers, fake news detection

研究动机与目标

• 开发一种稳健的抽象式文本摘要模型，以缓解序列到序列模型中的常见问题，如未登录词生成和重复。
• 比较多种神经架构（包括带有注意力机制的LSTM编码器-解码器、指针-生成网络、覆盖机制以及Transformer）在抽象式摘要中的性能表现。
• 评估摘要是否可作为虚假新闻检测的有效特征提取方法。
• 探究该摘要模型作为新闻文章自动标题生成器的潜力。

提出的方法

• 基线模型采用LSTM编码器-解码器架构，并引入注意力机制，通过基于对齐得分的加权和计算上下文向量。
• 指针-生成网络结合了复制机制（指针）和词汇生成机制（生成器），使模型能够直接从源文本中复制罕见或未登录词。
• 覆盖机制通过追踪已注意过的词语动态调整注意力，利用随时间累积的覆盖向量减少重复。
• 模型采用软注意力机制，其中上下文向量通过使用softmax归一化的对齐得分对编码器隐藏状态进行加权和计算。
• 在虚假新闻检测任务中，使用性能最佳的摘要模型从新闻文章生成摘要，随后将这些摘要输入到带有嵌入层的双向LSTM分类器中。
• 通过在6,335篇新闻文章的平衡数据集上采用5折交叉验证，对多种超参数配置（包括不同大小和dropout率的LSTM与双向LSTM架构）进行调优。

实验结果

研究问题

• RQ1 指针-生成网络结合覆盖机制是否能在抽象式文本摘要中优于标准序列到序列模型，从而有效减少未登录词错误和重复？
• RQ2 在摘要质量和鲁棒性方面，不同神经架构（LSTM编码器-解码器带注意力、指针-生成网络、覆盖机制和Transformer）的表现如何比较？
• RQ3 与使用原始文章文本或标题相比，使用模型生成的摘要作为输入特征是否能提升虚假新闻检测的准确率？
• RQ4 该摘要模型在多大程度上可作为新闻文章的自动标题生成器？

主要发现

• 带有覆盖机制的指针-生成模型在抽象式摘要任务中表现最佳，有效减少了重复，并在处理未登录词方面优于基线模型。
• 该摘要模型将摘要的平均长度降低至20.41个词，同时保留了关键内容，在下游任务中优于完整正文和标题输入。
• 使用摘要文本进行虚假新闻检测的准确率达到93%，高于使用完整文章文本的92%以及仅使用标题的91%。
• 当使用摘要文本作为输入时，具有128个单元和0.2 dropout率的双向LSTM分类器在验证集上达到93.1%的最高准确率，表明其具有良好的泛化能力。
• 研究证实，抽象式摘要可作为有效的特征工程技术，显著提升虚假新闻检测中的分类性能。
• 该摘要模型在作为自动标题生成器方面也展现出潜力，因其能生成简洁且富含内容的摘要，准确反映原文的核心思想。