[论文解读] Revision in Continuous Space: Fine-Grained Control of Text Style Transfer.

Dayiheng Liu, Jie Fu+3 more|arXiv (Cornell University)|May 29, 2019

Topic Modeling参考文献 20被引用 10

一句话总结

该论文提出了一种基于梯度的文本风格迁移方法，通过在连续空间中修改句子，无需对抗性训练或显式解耦。通过利用变分自编码器（VAE）、属性预测器和内容预测器，该方法实现了对风格迁移的细粒度、多属性控制，同时在三个基准任务上达到了最先进性能。

ABSTRACT

Typical methods for unsupervised text style transfer often rely on two key ingredients: 1) seeking the explicit disentanglement of the content and the attributes, and 2) troublesome adversarial learning. In this paper, we show that neither of these components is indispensable. We propose a new framework that utilizes the gradients to revise the sentence in a continuous space during inference to achieve text style transfer. Our method consists of three key components: a variational auto-encoder (VAE), some attribute predictors (one for each attribute), and a content predictor. The VAE and the two types of predictors enable us to perform gradient-based optimization in the continuous space, which is mapped from sentences in a discrete space, to find the representation of a target sentence with the desired attributes and preserved content. Moreover, the proposed method naturally has the ability to simultaneously manipulate multiple fine-grained attributes, such as sentence length and the presence of specific words, when performing text style transfer tasks. Compared with previous adversarial learning based methods, the proposed method is more interpretable, controllable and easier to train. Extensive experimental studies on three popular text style transfer tasks show that the proposed method significantly outperforms five state-of-the-art methods.

研究动机与目标

• 消除无监督文本风格迁移中对对抗性学习和显式解耦的依赖。
• 实现对多个文本属性（如长度和词汇存在性）的细粒度、连续控制。
• 与现有对抗性方法相比，提升可解释性、可控性和训练稳定性。
• 通过潜在空间中的基于梯度的优化，实现在保持内容完整性的同时实现高质量的风格迁移。

提出的方法

• 该方法使用变分自编码器（VAE）将离散的句子映射到连续的潜在空间。
• 训练属性预测器以在潜在空间中识别特定的风格属性（例如情感、长度）。
• 通过测量潜在空间中的内容相似性，内容预测器确保优化过程中的语义一致性。
• 在推理阶段，模型通过基于梯度的优化，将潜在表示向期望属性方向调整，同时最小化内容偏差。
• 通过整合所有属性预测器的梯度信号，优化过程可同时调整多个属性。
• 最终从修正后的潜在表示中解码出句子，生成内容保持不变的风格化输出。

实验结果

研究问题

• RQ1 是否可以在不使用对抗性训练或显式解耦内容与风格的情况下实现文本风格迁移？
• RQ2 基于梯度的连续空间修改能否实现对文本风格的细粒度、多属性控制？
• RQ3 与基于对抗性学习的基线方法相比，该方法在性能和训练稳定性方面表现如何？
• RQ4 该方法在同时迁移多个属性时，能在多大程度上保持内容完整性？

主要发现

• 该方法在三个主流文本风格迁移基准上显著优于五种最先进方法。
• 该方法在不使用对抗性训练的情况下实现了更优性能，提升了训练稳定性和可解释性。
• 该框架天然支持对多个细粒度属性（如句子长度和词汇存在性）的同步操作。
• 该方法表现出高度可控性，如在多种属性组合下均能实现有效且一致的风格迁移。