[论文解读] Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information

Lisa Fan, Dong Yu+1 more|arXiv (Cornell University)|Oct 14, 2018

Topic Modeling参考文献 42被引用 19

一句话总结

本文提出了一种语义感知的神经抽象摘要模型，通过联合学习语义解析与摘要生成，提升了事实一致性与鲁棒性。该模型采用双注意力机制与基于片段的重排序策略，生成更忠实、更少冗余的摘要，在自动评估与人工评估中均优于序列到序列（seq2seq）和指针-生成（pointer-generator）模型，尤其在插入无关话题内容的对抗性条件下表现更优。

ABSTRACT

Sequence-to-sequence (seq2seq) neural models have been actively investigated for abstractive summarization. Nevertheless, existing neural abstractive systems frequently generate factually incorrect summaries and are vulnerable to adversarial information, suggesting a crucial lack of semantic understanding. In this paper, we propose a novel semantic-aware neural abstractive summarization model that learns to generate high quality summaries through semantic interpretation over salient content. A novel evaluation scheme with adversarial samples is introduced to measure how well a model identifies off-topic information, where our model yields significantly better performance than the popular pointer-generator summarizer. Human evaluation also confirms that our system summaries are uniformly more informative and faithful as well as less redundant than the seq2seq model.

研究动机与目标

• 为解决神经抽象摘要模型中语义理解不足的问题，该问题导致摘要出现事实性错误与冗余。
• 开发一种能够稳健识别并忽略输入文本中无关或对抗性信息的模型。
• 通过联合学习语义解析与摘要生成，提升摘要的忠实度、信息量并减少冗余。
• 提出一种新颖的对抗性评估方案，用于衡量模型对无关内容插入的鲁棒性。
• 通过自动指标与真实新闻数据的人工评估，验证该模型的优越性。

提出的方法

• 该模型首先使用语义解码器从输入文章中生成关键语义结构（谓词与论元），其设计灵感来源于人类摘要生成过程。
• 在解码过程中，双注意力机制同时关注输入文章与生成的语义结构，以更好地对齐语义内容与摘要生成。
• 解码器中采用基于片段的重排序策略，通过选择多样化且高质量的摘要假设，提升内容覆盖度并减少冗余。
• 模型在联合学习目标下进行训练，同时优化语义解析与抽象摘要任务。
• 引入对抗性评估协议，在输入中插入少量与主题无关的句子，以测试模型的鲁棒性。
• 模型采用共享解码器架构，联合学习语义解析与摘要生成，提升端到端的一致性。

实验结果

研究问题

• RQ1 能否使神经抽象摘要模型对输入文本中的对抗性无关插入内容更具鲁棒性？
• RQ2 在摘要流程中整合语义解析是否能提升事实一致性并减少冗余？
• RQ3 在对抗性条件下，所提模型与seq2seq及pointer-generator模型的性能相比如何？
• RQ4 人工评估中，该模型生成的摘要在信息量与忠实度方面是否显著优于现有模型？
• RQ5 语义感知的解码机制是否能减少抽取片段并提升摘要的流畅性与简洁性？

主要发现

• 在CNN/Daily Mail基准测试中，所提模型的ROUGE与METEOR得分显著高于seq2seq与pointer-generator模型，表明其自动摘要质量更优。
• 在对抗性评估中，当插入无关话题句子时，该模型性能保持稳定，仅出现轻微下降，而基线模型则出现显著性能下滑。
• 人工评估显示，该模型生成的摘要在非冗余性、流畅性、忠实度与信息量方面显著优于seq2seq模型（p < 0.05）。
• 与seq2seq模型相比，该模型生成的摘要中提取片段更少且更短，冗余程度显著降低。
• 出人意料的是，在26%的案例中，该模型的输出在信息量与流畅性方面甚至高于人类参考摘要，归因于其简洁性与清晰度。
• 在双注意力机制中使用标准语义角色时，ROUGE得分提升了约0.5分，证实了改进语义解析的价值。