[论文解读] SummAE: Zero-Shot Abstractive Text Summarization using Length-Agnostic Auto-Encoders

Peter J. Liu, Yu-An Chung+1 more|arXiv (Cornell University)|Oct 2, 2019

Topic Modeling参考文献 41被引用 16

一句话总结

该论文提出 SummAE，一种零样本抽象文本摘要模型，通过使用与长度无关的去噪自编码器，在训练过程中无需任何标注摘要的情况下，从五句话的故事生成单句摘要。通过采用掩码序列预测和段落重排的自监督预训练方法，该模型在 ROCSumm 数据集上达到 ROUGE-1 为 36.5，显著优于抽取式基线模型，并接近人工最优抽取式性能。

ABSTRACT

We propose an end-to-end neural model for zero-shot abstractive text summarization of paragraphs, and introduce a benchmark task, ROCSumm, based on ROCStories, a subset for which we collected human summaries. In this task, five-sentence stories (paragraphs) are summarized with one sentence, using human summaries only for evaluation. We show results for extractive and human baselines to demonstrate a large abstractive gap in performance. Our model, SummAE, consists of a denoising auto-encoder that embeds sentences and paragraphs in a common space, from which either can be decoded. Summaries for paragraphs are generated by decoding a sentence from the paragraph representations. We find that traditional sequence-to-sequence auto-encoders fail to produce good summaries and describe how specific architectural choices and pre-training techniques can significantly improve performance, outperforming extractive baselines. The data, training, evaluation code, and best model weights are open-sourced.

研究动机与目标

• 解决训练过程中无任何标注摘要的零样本抽象摘要挑战。
• 在低资源环境下弥合抽取式与抽象式摘要之间的性能差距。
• 开发一个统一的、端到端的神经网络模型，联合编码句子和段落于共享潜在空间中。
• 设计架构与预训练组件，防止潜在空间中句子与段落表征的分离。
• 基于 ROCStories 构建新基准 ROCSumm，用于衡量无监督抽象摘要的进展。

提出的方法

• 训练一个去噪自编码器，使用共享编码器将句子和段落编码到共享潜在空间中。
• 使用特殊前缀标记来控制解码器在重建过程中生成句子或段落。
• 应用两种噪声增强技术：标记掩码和段落重排，以提升鲁棒性与泛化能力。
• 实施自监督预训练目标：下一句序列预测（NSSP）和语言建模（LM），以对齐句子与段落表征。
• 采用 Transformer 编码器与 RNN 解码器架构，以平衡表征能力与自回归生成质量。
• 通过在掩码和重排输入序列上的去噪自编码损失，端到端微调模型。

实验结果

研究问题

• RQ1 单一去噪自编码器模型是否能在无任何标注摘要的训练条件下有效生成抽象摘要？
• RQ2 为防止潜在空间中句子与段落表征分离，需要哪些架构与预训练组件？
• RQ3 如标记掩码与段落重排等噪声增强技术如何影响摘要质量与模型稳定性？
• RQ4 自监督预训练（NSSP 与 LM）在零样本抽象摘要中，相较于抽取式基线能提升多少性能？
• RQ5 ROUGE 指标表现是否与人类对生成摘要流畅性与信息相关性的判断存在相关性？

主要发现

• 最佳 SummAE 模型达到 ROUGE-1 为 36.5，ROUGE-L 为 29.3，显著优于最佳抽取式基线模型（ROUGE-1：27.3）。
• 同时采用 NSSP 与 LM 预训练的模型（ROUGE-1 为 36.5）优于仅使用单一预训练目标或无预训练的模型。
• 若移除标记掩码或段落重排，ROUGE-1 分数下降 2.5–3.1 分，表明两者对性能与稳定性均至关重要。
• 人工评估显示，最佳模型（TRF-RNN + NSSP + LM）在信息相关性方面优于先前模型 86% 的情况，在流畅性方面优于 99% 的情况，但仍远未达到人类水平。
• 模型的段落重建结果具有连贯性，但存在事实性错误，表明提升重建质量可增强摘要的忠实度。
• 自编码器架构中使用判别器导致性能下降，原因在于潜在空间的表征分离，该问题通过预训练与噪声增强得到缓解。