[论文解读] Revision in Continuous Space: Unsupervised Text Style Transfer without Adversarial Learning

Dayiheng Liu, Jie Fu+3 more|arXiv (Cornell University)|May 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 4

一句话总结

本文提出了一种新颖的无监督文本风格迁移框架，通过基于梯度的优化在连续空间中修订句子，消除了对抗学习和显式解耦的需要。通过利用变分自编码器（VAE）、属性预测器和内容预测器，该方法实现了可控、可解释且多属性的风格迁移，在三个基准任务上优于五种最先进方法。

ABSTRACT

Typical methods for unsupervised text style transfer often rely on two key ingredients: 1) seeking the explicit disentanglement of the content and the attributes, and 2) troublesome adversarial learning. In this paper, we show that neither of these components is indispensable. We propose a new framework that utilizes the gradients to revise the sentence in a continuous space during inference to achieve text style transfer. Our method consists of three key components: a variational auto-encoder (VAE), some attribute predictors (one for each attribute), and a content predictor. The VAE and the two types of predictors enable us to perform gradient-based optimization in the continuous space, which is mapped from sentences in a discrete space, to find the representation of a target sentence with the desired attributes and preserved content. Moreover, the proposed method naturally has the ability to simultaneously manipulate multiple fine-grained attributes, such as sentence length and the presence of specific words, when performing text style transfer tasks. Compared with previous adversarial learning based methods, the proposed method is more interpretable, controllable and easier to train. Extensive experimental studies on three popular text style transfer tasks show that the proposed method significantly outperforms five state-of-the-art methods.

研究动机与目标

• 为解决对抗学习在文本风格迁移中的局限性，如训练不稳定性和解耦效果差。
• 消除无监督文本风格迁移中显式内容-属性解耦的需要。
• 实现对多个细粒度属性（如情感、句子长度和关键词存在性）的同步控制。
• 通过推理阶段基于梯度优化的句子表示修订，提升可解释性与可控性。
• 在无需平行训练数据的情况下，实现强大的文本风格迁移任务性能。

提出的方法

• 变分自编码器（VAE）将离散句子映射到平滑的连续潜在空间，并从潜在表示中重建句子。
• 训练属性预测器以从连续潜在表示中预测特定属性（如情感、长度）。
• 内容预测器用于预测生成句子的词袋（BoW）特征，以保持内容并强制包含关键词。
• 在推理阶段，通过使用属性预测器和内容预测器的损失，对输入句子的潜在表示进行梯度下降优化。
• 优化过程迭代调整潜在码，以最小化属性和内容预测误差，从而生成具有期望风格且内容保持不变的目标句子。
• 通过在优化目标中组合不同属性的多个损失项，该方法自然支持多属性控制。

实验结果

研究问题

• RQ1 能否在不使用对抗学习或显式解耦内容与风格的情况下实现文本风格迁移？
• RQ2 在连续空间中基于梯度的修订能否提升文本风格迁移中的可控性与可解释性？
• RQ3 所提方法能否同时控制多个细粒度属性，如句子长度和关键词存在性？
• RQ4 与最先进基于对抗学习的方法相比，该方法在性能和训练稳定性方面表现如何？
• RQ5 在操纵复杂属性组合时，该方法能否在保持高流畅性与内容保留的同时表现良好？

主要发现

• 所提方法在三个流行的文本风格迁移基准上显著优于五种最先进方法。
• 在情感迁移任务中，当同时控制情感、长度和关键词时，方法达到93.0%准确率、183.7 Len%得分和66.6 Key%得分。
• 在减少句子长度时，方法达到87.6%准确率、60.9 Len%得分和63.0 Key%得分，表明在具有挑战性的控制场景中具有鲁棒性。
• 在增加句子长度时，模型表现出更高的流畅性与内容保留度，而减少长度时则较难维持，这归因于在约束下长度减少的难度。
• 通过梯度调优，该方法能够生成多个多样化输出，增强了可解释性与可控性。
• 消融研究证实，内容预测器显著提升了内容保留度，尤其在复杂属性操作任务中表现突出。