[论文解读] Unsupervised Controllable Text Generation with Global Variation Discovery and Disentanglement.

Peng Xu, Yanshuai Cao+1 more|arXiv (Cornell University)|May 28, 2019

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文提出了一种新颖的无监督方法，通过将后验均值约束在学习到的概率单纯形内，缓解了阻碍序列VAE中操作的潜在空间空洞问题。该方法实现了有效且细粒度的文本生成控制，在风格迁移任务上优于无监督和有监督基线方法。

ABSTRACT

The variational autoencoder (VAE) can learn the manifold of natural images on certain datasets, as evidenced by meaningful interpolating or extrapolating in the continuous latent space. However, on discrete data such as text, it is unclear if unsupervised learning can discover similar latent space that allows controllable manipulation. In this work, we find that sequence VAEs trained on text fail to properly decode when the latent codes are manipulated, because the modified codes often land in holes or vacant regions in the aggregated posterior latent space, where the decoding network fails to generalize. Both as a validation of the explanation and as a fix to the problem, we propose to constrain the posterior mean to a learned probability simplex, and performs manipulation within this simplex. Our proposed method mitigates the latent vacancy problem and achieves the first success in unsupervised learning of controllable representations for text. Empirically, our method outperforms unsupervised baselines and strong supervised approaches on text style transfer, and is capable of performing more flexible fine-grained control over text generation than existing methods.

研究动机与目标

• 解决无监督学习设置下的可控文本生成挑战。
• 识别并解决序列VAE中的潜在空缺问题，即操纵后的潜在码落入潜在空间中未访问的区域。
• 在无需监督信号或显式风格标注的情况下，实现有意义且细粒度的文本生成操纵。
• 学习文本的解耦全局表征，以支持潜在空间中的插值与外推。

提出的方法

• 该方法将VAE的后验均值约束在学习到的概率单纯形内，降低生成空缺潜在区域代码的可能性。
• 其利用变分自编码器架构，并通过修改后验分布，确保潜在码始终位于潜在空间中一个密集且可学习的区域。
• 学习到的单纯形作为结构化先验，对潜在空间进行正则化，从而在操纵后提升解码过程中的泛化能力。
• 操纵直接在单纯形内进行，从而实现平滑且有意义的插值与风格迁移。
• 该方法无需监督或显式风格标签，仅依赖于原始文本的无监督训练。

实验结果

研究问题

• RQ1 无监督VAE能否在存在潜在空洞的情况下学习到支持可控文本生成的潜在空间？
• RQ2 将后验均值约束在概率单纯形内是否能有效减少潜在空间中空缺区域的出现？
• RQ3 该方法在文本风格迁移任务上的表现是否优于现有无监督和有监督方法？
• RQ4 该方法在无监督条件下，能够在多大程度上实现对文本生成的细粒度、解耦控制？

主要发现

• 所提方法成功缓解了潜在空缺问题，实现了在序列VAE中对潜在码的可靠操纵。
• 该方法在文本风格迁移任务上优于现有无监督基线，实现了无任何监督条件下的最先进性能。
• 它还在风格迁移基准上超越了强大的有监督方法，证明了无监督解耦的有效性。
• 与先前方法相比，该方法在文本生成方面实现了更灵活、更细粒度的控制，包括依赖监督的方法。