[论文解读] Style Transfer as Unsupervised Machine Translation

Zhirui Zhang, Shuo Ren+6 more|arXiv (Cornell University)|Aug 23, 2018

Natural Language Processing Techniques参考文献 30被引用 114

一句话总结

本文将风格迁移重新表述为无监督机器翻译问题，构建逐词级的风格映射、基于 SMT 的迁移系统，以及带有风格分类器的迭代训练的 NMT 模型，以在没有并行数据的情况下提高风格准确性和内容保留。

ABSTRACT

Language style transferring rephrases text with specific stylistic attributes while preserving the original attribute-independent content. One main challenge in learning a style transfer system is a lack of parallel data where the source sentence is in one style and the target sentence in another style. With this constraint, in this paper, we adapt unsupervised machine translation methods for the task of automatic style transfer. We first take advantage of style-preference information and word embedding similarity to produce pseudo-parallel data with a statistical machine translation (SMT) framework. Then the iterative back-translation approach is employed to jointly train two neural machine translation (NMT) based transfer systems. To control the noise generated during joint training, a style classifier is introduced to guarantee the accuracy of style transfer and penalize bad candidates in the generated pseudo data. Experiments on benchmark datasets show that our proposed method outperforms previous state-of-the-art models in terms of both accuracy of style transfer and quality of input-output correspondence.

研究动机与目标

• 将风格迁移作为翻译任务来激发使用无并行数据的无监督学习。
• 开发两阶段训练流程：(1) 构建逐词级迁移表与基于 SMT 的系统；(2) 双向 NMT 与迭代回译。
• 在训练中加入风格分类器，以控制噪声并确保迁移的准确性。
• 在基准数据集上展示相对先前最先进方法在风格迁移准确性和内容保留方面的提升。

提出的方法

• 使用词嵌入相似性和风格偏好信号构建逐词级风格迁移表 P_{s→t}(y_w|x_w)。
• 利用迁移表和风格特定语言模型构建双向 SMT 迁移系统，以生成伪并行数据。
• 从伪数据初始化双向基于 NMT 的迁移模型，并通过迭代回译进行训练。
• 引入外部风格分类器，在回译优化过程中奖励高风格准确性的输出并惩罚不良伪数据。
• 将训练目标形式化为前向-后向似然下界与基于分类器的奖励项的组合。
• 使用束搜索近似期望并对训练抽取前 k 个翻译样本（算法 1）。

实验结果

研究问题

• RQ1 是否可以利用非并行的同一语言语料来在没有并行数据的情况下学习有效的风格迁移？
• RQ2 两阶段方法（逐词级迁移加迭代回译）是否比纯自编码或基于检索的方法有改进？
• RQ3 加入风格分类器对基于回译的训练的稳定性和质量有何影响？
• RQ4 在不同风格迁移任务（Yelp/Amazon 的情感、浪漫/幽默的标题）上的表现，与基线相比如何？

主要发现

• 所提出的方法在 Yelp、Amazon 和 Captions 数据集上的风格迁移准确性与内容保留方面均优于最先进的基线。
• 逐词级迁移表结合风格特定语言模型实现有效的初始 SMT 迁移，为后续的 NMT 训练提供信息。
• 带风格分类器的迭代回译在双向模型之间实现相互提升并稳定训练。
• 人工与自动评估显示，该方法在风格迁移准确性和输入-输出质量方面优于 CrossAligned、MultiDecoder、StyleEmbedding、TemplateBased 和 Del-Retr-Gen。
• 风格分类器至关重要；移除它会降低迁移准确性和整体性能。
• 分析表明 SMT 阶段提供了强有力的初始伪数据，而带回译的迭代 NMT 能优化内容保真度与流畅度。