[论文解读] Soft Layer-Specific Multi-Task Summarization with Entailment and Question Generation

Han Guo, Ramakanth Pasunuru+1 more|arXiv (Cornell University)|May 28, 2018

Topic Modeling被引用 36

一句话总结

本文提出了一种用于抽取式摘要的软性、分层特定多任务学习框架，通过联合训练问题生成和蕴涵生成作为辅助任务。通过在编码器和解码器各层之间共享高层语义表征，该模型提升了显著性检测与逻辑蕴涵能力，在 CNN/DailyMail、Gigaword 和 DUC-2002 数据集上实现了具有统计显著性的 SOTA ROUGE 分数，并减少了幻觉现象。

ABSTRACT

An accurate abstractive summary of a document should contain all its salient information and should be logically entailed by the input document. We improve these important aspects of abstractive summarization via multi-task learning with the auxiliary tasks of question generation and entailment generation, where the former teaches the summarization model how to look for salient questioning-worthy details, and the latter teaches the model how to rewrite a summary which is a directed-logical subset of the input document. We also propose novel multi-task architectures with high-level (semantic) layer-specific sharing across multiple encoder and decoder layers of the three tasks, as well as soft-sharing mechanisms (and show performance ablations and analysis examples of each contribution). Overall, we achieve statistically significant improvements over the state-of-the-art on both the CNN/DailyMail and Gigaword datasets, as well as on the DUC-2002 transfer setup. We also present several quantitative and qualitative analysis studies of our model's learned saliency and entailment skills.

研究动机与目标

• 通过增强模型检测文档中显著信息的能力并确保输入文档的逻辑蕴涵，来改进抽取式摘要。
• 探究诸如问题生成与蕴涵生成等辅助任务是否能超越标准序列到序列模型，进一步提升摘要质量。
• 探索在摘要任务的多任务学习中，软性高层（语义）分层特定参数共享的有效性。
• 通过 DUC-2002 迁移设置评估模型在低资源场景下的泛化能力。
• 通过定性与定量研究分析模型所学习到的显著性与蕴涵能力。

提出的方法

• 提出一个包含三项任务的多任务学习框架：抽取式摘要、问题生成（来自 SQuAD）和蕴涵生成（来自 SNLI 并转换为生成任务）。
• 采用序列到序列架构，其中编码器与解码器共享部分层，而高层（语义）层在任务间软性共享，低层（词汇句法）层则保持独立。
• 通过可微分门控机制实现软性参数共享，以动态控制不同任务中共享参数的贡献度。
• 利用每个任务的预训练模型作为初始化，显著缩短训练时间。
• 应用最先进的蕴涵分类器与基于命名实体识别的冗余事实检测方法，评估逻辑一致性和事实正确性。
• 采用基于关键词的显著性检测方法，利用 SQuAD 训练的分类器测量真实摘要与生成摘要之间的重叠程度。

实验结果

研究问题

• RQ1 通过问题生成进行训练，是否能提升模型检测文档中显著信息的能力？
• RQ2 蕴涵生成是否有助于减少幻觉并提升抽取式摘要的逻辑一致性？
• RQ3 相较于硬性共享或无共享，软性高层分层特定参数共享在多任务摘要中是否更具有效性？
• RQ4 该多任务模型在低资源场景（如 DUC-2002 迁移设置）下的泛化能力如何？
• RQ5 辅助任务在多大程度上提升了事实一致性与显著性检测能力？其衡量指标为蕴涵概率与命名实体重叠度。

主要发现

• 三任务多任务模型（摘要 + QG + EG）在 CNN/DailyMail、Gigaword 和 DUC-2002 上均实现具有统计显著性的 SOTA 提升，蕴涵方面 p < 0.001，显著性方面 p < 0.01。
• 与基线相比，该模型将摘要中冗余命名实体减少了 17.2%，表明事实一致性得到改善。
• 两任务 QG 模型在显著性检测方面表现更优，相比基线多识别出 93 个包含两个或以上额外显著关键词的样本。
• 模型的抽象性增强，摘要中出现 10.66% 的新颖 4-gram（相较 See et al., 2017 的 9.72%），表明更强的重写能力。
• 摘要句子被源文档蕴涵的概率显著提高（p < 0.001），证实了更好的逻辑一致性。
• 定性分析显示，模型避免生成如 "john hartson" 或 "hampden injustice" 等非蕴涵短语，并能恢复关键显著实体如 "josh meekings" 和 "hoops"。