[论文解读] Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling

Prince Zizhuang Wang, William Yang Wang|arXiv (Cornell University)|Apr 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 9

一句话总结

该论文在变分Wasserstein自编码器（WAE）中提出了一种黎曼正则化流（RNF），通过学习尊重输入文本空间几何结构的潜在表征，从而提升文本建模性能。通过用黎曼度量感知的潜在空间替代标准高斯先验，该模型避免了KL散消失问题，在大多数基准测试中实现了最先进水平的困惑度，并生成了更多样化、更具语义意义的文本样本。

ABSTRACT

Recurrent Variational Autoencoder has been widely used for language modeling and text generation tasks. These models often face a difficult optimization problem, also known as the Kullback-Leibler (KL) term vanishing issue, where the posterior easily collapses to the prior, and the model will ignore latent codes in generative tasks. To address this problem, we introduce an improved Wasserstein Variational Autoencoder (WAE) with Riemannian Normalizing Flow (RNF) for text modeling. The RNF transforms a latent variable into a space that respects the geometric characteristics of input space, which makes posterior impossible to collapse to the non-informative prior. The Wasserstein objective minimizes the distance between the marginal distribution and the prior directly and therefore does not force the posterior to match the prior. Empirical experiments show that our model avoids KL vanishing over a range of datasets and has better performances in tasks such as language modeling, likelihood approximation, and text generation. Through a series of experiments and analysis over latent space, we show that our model learns latent distributions that respect latent space geometry and is able to generate sentences that are more diverse.

研究动机与目标

• 解决循环变分自编码器（VAE）在文本生成中出现的KL散度消失问题，即后验分布坍塌至先验分布，导致潜在码变得无信息量。
• 克服标准VAE假设对角高斯先验的局限性，该假设无法捕捉自然语言数据的内在几何结构。
• 利用Wasserstein目标最小化后验与先验之间的边际分布距离，减少对后验匹配的依赖，缓解KL坍塌问题。
• 提出一种新型黎曼正则化流（RNF），将潜在变量映射至尊重输入数据几何结构的弯曲空间，使后验坍塌至标准高斯分布成为不可能。
• 通过学习更具信息量、更多样化且具备几何感知能力的潜在表征，同时提升似然近似（困惑度）与文本生成质量。

提出的方法

• 将黎曼正则化流（RNF）集成至Wasserstein变分自编码器（WAE）中，其中潜在空间通过尊重由输入数据几何结构导出的黎曼度量张量的流进行变换。
• 利用黎曼度量张量定义一个编码输入句子流形内在几何特性的弯曲潜在空间。
• 应用正则化流将简单基分布（如标准高斯分布）映射至潜在空间中复杂且具备黎曼结构的后验分布。
• 采用Wasserstein GAN目标最小化后验边际分布与先验之间的距离，避免强制后验-先验匹配。
• 使用重参数化技巧进行端到端随机梯度下降训练，优化基于RNF的正则化流的WAE目标。
• 使用蒙特卡洛估计近似潜在码与输入数据之间的互信息，评估所学表征的信息量。

实验结果

研究问题

• RQ1 黎曼正则化流是否能通过编码输入数据的几何结构，有效防止VAE在文本建模中出现的后验坍塌问题？
• RQ2 结合RNF的Wasserstein目标是否在困惑度指标上优于标准VAE和WAE，从而实现更优的语言建模性能？
• RQ3 与欧几里得潜在空间相比，黎曼潜在表征在多大程度上保留了输入句子与潜在码之间的互信息？
• RQ4 RNF的使用如何影响生成文本样本的多样性与语义质量？
• RQ5 所提出的RNF-WAE模型是否能在标准自然语言处理基准上实现文本生成与似然近似方面的最先进性能？

主要发现

• RNF-WAE模型在包括PTB和Yelp在内的大多数标准语言建模数据集上实现了最先进水平的困惑度，优于先前基于VAE的模型。
• 通过黎曼潜在空间的几何约束，该模型显著缓解了KL散度消失问题，确保后验无法坍塌至标准高斯分布。
• 在黎曼空间中，潜在码与输入句子之间的互信息（$I(oldsymbol{z}^{oldsymbol{ackprime}}, oldsymbol{x}) > I(oldsymbol{z}, oldsymbol{x})$）高于欧几里得空间，表明表征更具信息量。
• 从黎曼潜在空间生成的文本在语义和结构上表现出更高的多样性，因为该流使得后验支持在不同输入条件下得以更广泛扩展。
• RNF与Wasserstein目标的结合实现了更稳定、更高效的训练，重建质量与潜在码信息量之间的权衡得到改善。
• 实证结果表明，即使困惑度提升有限，RNF-WAE模型在互信息与生成多样性方面始终表现更优，证实了几何感知潜在空间的价值。