[论文解读] On Variational Learning of Controllable Representations for Text without Supervision

Peng Xu, Jackie Chi Kit Cheung+1 more|arXiv (Cornell University)|May 28, 2019

Topic Modeling参考文献 37被引用 9

一句话总结

该论文提出CP-VAE，一种新型变分自编码器，通过将后验均值约束于一个学习得到的概率单纯形，以缓解文本VAE中的潜在空间空洞问题，从而实现首个成功的无监督可控文本生成。通过填充潜在空间并强制正交性，CP-VAE在无监督文本风格迁移任务中达到最先进性能，优于所有无监督及强监督基线方法。

ABSTRACT

The variational autoencoder (VAE) can learn the manifold of natural images on certain datasets, as evidenced by meaningful interpolating or extrapolating in the continuous latent space. However, on discrete data such as text, it is unclear if unsupervised learning can discover similar latent space that allows controllable manipulation. In this work, we find that sequence VAEs trained on text fail to properly decode when the latent codes are manipulated, because the modified codes often land in holes or vacant regions in the aggregated posterior latent space, where the decoding network fails to generalize. Both as a validation of the explanation and as a fix to the problem, we propose to constrain the posterior mean to a learned probability simplex, and performs manipulation within this simplex. Our proposed method mitigates the latent vacancy problem and achieves the first success in unsupervised learning of controllable representations for text. Empirically, our method outperforms unsupervised baselines and strong supervised approaches on text style transfer, and is capable of performing more flexible fine-grained control over text generation than existing methods.

研究动机与目标

• 为解决序列VAE在无监督可控文本生成中因聚合后验分布中存在潜在空洞而导致的失败问题。
• 识别并验证潜在空洞——即潜在空间中的低密度区域——是操纵潜在码时解码失败的主要原因。
• 开发一种方法，实现在无需标注属性或预训练模型的情况下，对文本生成进行鲁棒且细粒度的控制。
• 证明受约束且被填充的潜在空间能够支持单个句子内自然流畅的风格转换。

提出的方法

• 引入一个学习得到的概率单纯形以约束后验均值，确保所有操纵后的潜在码均位于潜在空间的高密度区域。
• 添加正则化项以强制学习到的单纯形具有正交结构，促进解耦与稳定性。
• 应用第二个正则化项以促使单纯形被密集填充，最小化潜在空洞并提升泛化能力。
• 使用结合了两个正则化项的改进VAE目标函数进行模型训练，确保解码网络在受约束的空间中具备良好的泛化能力。
• 通过在单纯形内插值或切换实现条件生成，实现细粒度的风格控制。
• 使用拓扑数据分析方法，实证验证标准文本VAE中潜在空洞的存在及其严重性。

实验结果

研究问题

• RQ1 为何标准序列VAE在操纵潜在码时仍无法生成有意义的文本，尽管在图像生成中已取得成功？
• RQ2 聚合后验分布中的潜在空洞在多大程度上导致了文本VAE中的解码失败？
• RQ3 将后验均值约束于学习得到的概率单纯形是否能缓解潜在空洞，并实现在无监督条件下的可控文本生成？
• RQ4 CP-VAE在文本风格迁移任务上的表现是否可与监督方法及预训练模型相媲美？
• RQ5 是否可能使用无监督模型实现自然且流畅的细粒度、句内风格转换（例如主题切换）？

主要发现

• CP-VAE在文本风格迁移任务上优于所有无监督基线方法及强监督方法，其GLEU得分与SOTA模型（如B-GST）相当。
• 该模型在不依赖预训练语言模型或标注属性的情况下，实现了高质量、多样化且流畅的生成结果。
• CP-VAE实现了自然的句内主题转换，模型可在保持流畅性与连贯性的前提下无缝切换主题。
• 拓扑数据分析证实，文本VAE中的潜在空洞问题显著重于图像VAE，验证了核心问题的存在。
• 学习到的概率单纯形被密集填充且具有正交性，确保在生成过程中对时间步的操纵具有鲁棒性。
• 尽管从零开始无监督训练，CP-VAE的性能仍可与使用大规模预训练模型（如GPT-2）的监督方法相媲美。