[论文解读] Stochastic Wasserstein Autoencoder for Probabilistic Sentence Generation

Hareesh Bahuleyan, Lili Mou+2 more|arXiv (Cornell University)|Jun 22, 2018

Topic Modeling被引用 9

一句话总结

本文提出一种用于概率性句子生成的随机Wasserstein自编码器（WAE），解决了自然语言处理（NLP）中变分自编码器（VAE）存在的不稳定性和训练性能差的问题。通过引入KL惩罚项以保持编码器的随机性，该方法在BLEU得分和生成多样性方面优于VAE，同时无需使用KL退火或词 dropout。

ABSTRACT

The variational autoencoder (VAE) imposes a probabilistic distribution (typically Gaussian) on the latent space and penalizes the Kullback--Leibler (KL) divergence between the posterior and prior. In NLP, VAEs are extremely difficult to train due to the problem of KL collapsing to zero. One has to implement various heuristics such as KL weight annealing and word dropout in a carefully engineered manner to successfully train a VAE for text. In this paper, we propose to use the Wasserstein autoencoder (WAE) for probabilistic sentence generation, where the encoder could be either stochastic or deterministic. We show theoretically and empirically that, in the original WAE, the stochastically encoded Gaussian distribution tends to become a Dirac-delta function, and we propose a variant of WAE that encourages the stochasticity of the encoder. Experimental results show that the latent space learned by WAE exhibits properties of continuity and smoothness as in VAEs, while simultaneously achieving much higher BLEU scores for sentence reconstruction.

研究动机与目标

• 解决在自然语言处理中训练变分自编码器（VAE）的挑战，其中KL散度项常坍缩为零，导致潜在空间建模效果差。
• 克服VAE的局限性，后者需要使用KL退火和词 dropout 等复杂启发式方法才能有效训练。
• 探索Wasserstein自编码器（WAE）作为具有连续潜在空间的概率性句子生成的更稳定替代方案。
• 研究随机WAE编码器倾向于坍缩为狄拉克-德尔塔函数的现象，并提出一种方法以保持有意义的随机性。
• 证明所提方法在文本生成任务中，相较于VAE和确定性自编码器，具有更优的重构质量和生成质量。

提出的方法

• 采用Wasserstein自编码器（WAE）框架，通过最小化聚合后验分布与先验分布之间的Wasserstein距离，而非依赖KL散度。
• 使用随机编码器将输入句子映射到潜在分布，解码器则从采样的潜在向量重构句子。
• 引入启发式KL惩罚项，以防止随机编码器坍缩为确定性的狄拉克-德尔塔函数，从而保持随机性。
• 将训练目标表述为重构损失、WAE正则项（Wasserstein距离）和辅助KL项的加权和，以鼓励编码器的随机性。
• 使用随机梯度下降端到端训练模型，无需KL退火或词 dropout，相比VAE简化了训练过程。
• 将WAE框架扩展至编码器-解码器架构（WED），用于对话回复生成，评估确定性和随机编码器变体。

实验结果

研究问题

• RQ1 为何标准WAE中的随机编码器在NLP任务中倾向于坍缩为确定性的狄拉克-德尔塔函数？
• RQ2 在引入辅助KL惩罚项后，改进的WAE能否有效保持编码器的随机性，同时保留WAE框架的优势？
• RQ3 与VAE相比，所提WAE变体在重构质量（BLEU）和生成多样性（熵、不同n-gram）方面表现如何？
• RQ4 所提方法是否消除了在文本生成中对KL退火或词 dropout 等训练启发式方法的需求？
• RQ5 基于WAE的模型在对话系统中是否能实现高质量、多样化且流畅的句子生成，优于基于VAE的模型？

主要发现

• 所提带KL惩罚的WAE在SNLI句子生成任务中达到22.5的BLEU-4得分，比VAE高出40个BLEU点，接近确定性自编码器（DAE）的性能。
• 带KL惩罚的WAE在DailyDialog语料库上实现了最高的输出多样性，Dist-2得分为0.309，显著优于基于VAE的模型（0.204）和确定性WAE（0.272）。
• 该随机WAE变体在保持高重构性能（BLEU-4 ≈ 22.5）的同时，实现了多样且流畅的生成，而确定性WAE则缺乏多样性。
• 该模型无需KL退火或词 dropout 即可取得优越结果，表明其相比VAE具有更强的鲁棒性和更易训练的特性。
• 在对话生成中，采用KL惩罚随机编码器的WED-S模型在BLEU得分和多样性指标上均优于VED、WED-D和DED，证实了其生成质量和多样性的提升。
• 理论与实证分析表明，原始随机WAE编码器倾向于坍缩为狄拉克-德尔塔函数，从而验证了所提KL正则化方法的必要性。