[论文解读] Unsupervised Abstractive Sentence Summarization using Length Controlled Variational Autoencoder

Raphael Schumann|arXiv (Cornell University)|Sep 13, 2018

Topic Modeling被引用 13

一句话总结

本文提出一种基于长度控制变分自编码器（VAE）的无监督抽象句子摘要方法，其中解码器通过可学习的长度嵌入（LenEmb）进行条件控制，以生成更短、更简洁的摘要。尽管未超越简单的前缀基线模型，但该模型在全重建基础上实现了更高的ROUGE分数，证明了长度控制可在无监督条件下提升抽象生成的信息压缩能力。

ABSTRACT

In this work we present an unsupervised approach to summarize sentences in abstractive way using Variational Autoencoder (VAE). VAE are known to learn a semantically rich latent variable, representing high dimensional input. VAEs are trained by learning to reconstruct the input from the probabilistic latent variable. Explicitly providing the information about output length during training influences the VAE to not encode this information and thus can be manipulated during inference. Instructing the decoder to produce a shorter output sequence leads to expressing the input sentence with fewer words. We show on different summarization data sets, that these shorter sentences can not beat a simple baseline but yield higher ROUGE scores than trying to reconstruct the whole sentence.

研究动机与目标

• 开发一种无监督的抽象摘要方法，无需并行训练数据即可生成简洁、信息丰富的句子摘要。
• 探究在解码过程中控制输出长度是否能提升VAE生成的抽象摘要质量。
• 确定通过LenEmb进行显式长度条件控制是否可减少潜在空间对长度信息的编码需求，从而增强对摘要长度与内容的控制能力。
• 使用ROUGE指标在标准摘要基准上评估模型性能，与基线模型及消融变体进行比较。

提出的方法

• 使用双向RNN编码器和自回归RNN解码器的变分自编码器（VAE）来学习输入句子的语义丰富潜在表征。
• 模型采用重参数化技巧，使梯度能通过潜在变量z的随机采样反向传播，其中z = μ + σ ⊙ ε，μ和σ由编码器输出。
• 引入长度嵌入（LenEmb），在每个解码步骤t，将剩余词数嵌入并拼接至解码器输入，以引导输出长度。
• 解码器在条件化于目标输出长度的前提下进行训练，以重建输入句子，其中长度嵌入在训练过程中被学习。
• 应用词袋损失，以鼓励潜在表征保留输入句子的全局词频统计特征。
• 在训练过程中对VAE目标函数中的KL散度项进行退火，以平衡重建质量与潜在空间正则性。

实验结果

研究问题

• RQ1 基于VAE的模型能否在无任何监督的情况下，生成既简洁又信息丰富的抽象摘要？
• RQ2 在解码器中引入可学习长度嵌入是否能提升模型生成更短、更聚焦摘要的能力？
• RQ3 VAE潜在空间中在多大程度上编码了句子长度信息？LenEmb如何影响这种编码？
• RQ4 即使模型未超越简单基线，长度控制生成是否仍能带来优于全重建的ROUGE分数？

主要发现

• 在DUC-2004和Gigaword数据集上，LenEmb模型在ROUGE-1、ROUGE-2和ROUGE-L指标上均优于基线VAE，表明摘要质量更高，尽管未超越前缀基线。
• 在DUC-2004上，LenEmb模型取得ROUGE-1为16.38、ROUGE-2为2.56、ROUGE-L为14.19，优于基线VAE（14.49、2.06、12.28），显示更强的信息压缩能力。
• 在Gigaword上，LenEmb模型取得ROUGE-1为22.19、ROUGE-2为4.56、ROUGE-L为19.88，再次优于基线VAE（19.91、4.14、18.02）。
• 在DUC-2004上，从潜在变量预测句子长度的线性回归R²为0.59（无LenEmb）和0.41（有LenEmb），表明LenEmb降低了潜在空间对长度信息的编码需求。
• 模型成功将输出长度控制在接近目标值20词（75字符）的范围，60%的输出落在目标区间内，证实了有效的长度控制。
• 尽管在基线VAE基础上有所改进，但模型仍未能超越简单的前缀基线（即提取输入的前100%词），表明其在重建保真度方面仍存在局限。