[论文解读] Toward Controlled Generation of Text

Zhiting Hu, Zichao Yang+3 more|arXiv (Cornell University)|Mar 2, 2017

Topic Modeling参考文献 34被引用 149

一句话总结

本文提出一种基于 VAE 的文本生成器，增强调性全局判别器以实现解耦、可控的句子生成，采用 wake-sleep 风格的训练以及离散文本的可微软最大似然近似。

ABSTRACT

Generic generation and manipulation of text is challenging and has limited success compared to recent deep generative modeling in visual domain. This paper aims at generating plausible natural language sentences, whose attributes are dynamically controlled by learning disentangled latent representations with designated semantics. We propose a new neural generative model which combines variational auto-encoders and holistic attribute discriminators for effective imposition of semantic structures. With differentiable approximation to discrete text samples, explicit constraints on independent attribute controls, and efficient collaborative learning of generator and discriminators, our model learns highly interpretable representations from even only word annotations, and produces realistic sentences with desired attributes. Quantitative evaluation validates the accuracy of sentence and attribute generation.

研究动机与目标

• 激发对可控、现实且具可解释潜在表示的文本生成的需求。
• 开发一个神经模型，在生成句子中强制实现解耦、独立的属性控制。
• 通过利用判别器和 wake-sleep 协作实现半监督学习。
• 展示对情感和时态的可控生成并给出符合语义的简短句子。
• 表明词级标签可以诱导句子级属性的控制与解耦。

提出的方法

• 用结构化潜在编码 c 来扩展 VAEs，以显式属性（例如情感、时态）。
• 为每个属性附加一个判别器，通过对离散文本的可微 softmax 近似来引导生成。
• 将编码器用作额外的判别器，以促进 z（无结构编码）和 c 的独立性。
• 采用扩展的 wake-sleep 训练循环，生成样本有助于同时训练生成器和判别器。
• 通过在带标签数据上训练判别器，同时使用未标签数据进行 VAE 重建来实现半监督学习。
• 引入最小熵正则化，以提高判别器对生成样本预测的鲁棒性。

实验结果

研究问题

• RQ1 解耦的、属性专用的潜在编码是否能够控制生成文本，而不与其他特征纠缠？
• RQ2 与基于重建的方法相比，整体属性判别器框架是否能更好地实现可控文本生成？
• RQ3 半监督学习在有限属性标签下学习可控生成的效果如何？
• RQ4 在结构化和无结构潜在编码之间实现独立性约束是否可行且对可解释性有益？
• RQ5 词级或部分标注是否足以诱导句子级属性控制（例如情感、时态）？

主要发现

模型	SST-full	SST-small	Lexicon
S-VAE	0.822	0.679	0.660
Ours	0.851	0.707	0.701

• 所提出的模型在 SST-full、SST-small 和 Lexicon 数据集上相比 S-VAE 在情感属性生成准确性方面有所提升（SST-full 为 0.851 vs 0.822；SST-small 为 0.707 vs 0.679；Lexicon 为 0.701 vs 0.660）。
• 具备独立性约束的解耦表示在改变属性编码时比没有该约束的模型产生更易解释的变化。
• 该模型仅用词级标注或少量标注句子就能学习有用的情感和时态控制，从而实现有效的句子级属性操控。
• 生成样本可用于扩增训练数据并提升下游情感分类器的性能。
• 类似睡眠/觉醒的训练过程使生成器与判别器之间能够高效互相引导，实现在有限监督下的半监督学习。