[论文解读] Multiple-Attribute Text Style Transfer

Sandeep Subramanian, Guillaume Lample+4 more|arXiv (Cornell University)|Nov 1, 2018

Topic Modeling参考文献 47被引用 52

一句话总结

本文认为在可控文本重写中并不需要对隐变量进行解耦，并提出一种基于 back-translation 的模型，能够处理多属性，并通过池化机制在内容保留与风格改变之间进行权衡。

ABSTRACT

The dominant approach to unsupervised "style transfer" in text is based on the idea of learning a latent representation, which is independent of the attributes specifying its "style". In this paper, we show that this condition is not necessary and is not always met in practice, even with domain adversarial training that explicitly aims at learning such disentangled representations. We thus propose a new model that controls several factors of variation in textual data where this condition on disentanglement is replaced with a simpler mechanism based on back-translation. Our method allows control over multiple attributes, like gender, sentiment, product type, etc., and a more fine-grained control on the trade-off between content preservation and change of style with a pooling operator in the latent space. Our experiments demonstrate that the fully entangled model produces better generations, even when tested on new and more challenging benchmarks comprising reviews with multiple sentences and multiple attributes.

研究动机与目标

• 研究在文本风格迁移中是否需要解耦的潜在表示。
• 提出一个简单的端到端模型，使用 back-translation 来控制多个属性。
• 引入一个池化机制，在内容保留和风格修改之间取得平衡。
• 在具有多属性的真实完整评审以及基准数据集上进行评估。
• 提供一个使用更丰富的多属性数据和人工评估的新基准设置。

提出的方法

• 使用去噪自编码损失，结合在线 back-translation 来训练文本生成器。
• 避免显式对抗性解耦，转而让解码器用目标属性覆盖原始属性信息。
• 将解码器以多个目标属性的平均嵌入作为起始序列符号进行条件化。
• 在编码器上应用时序最大池化，通过一个池化窗口 w 来控制内容保留。
• 采用编码器-解码器架构（2 层 BiLSTM 编码器，2 层基于注意力的解码器），隐藏单元为 512。
• 使用 fastText 分类器评估属性，通过来自五元组模型的困惑度来衡量流畅度，并用 self-BLEU 和对参考文本的 BLEU 来评估内容。

实验结果

研究问题

• RQ1 在可控文本改写中，解耦是否必要，或其他训练目标是否足以？
• RQ2 在端到端模型中，back-translation 加属性条件是否能够实现多属性风格迁移？
• RQ3 潜在空间中的池化如何影响内容保留和风格修改之间的权衡？
• RQ4 多属性模型是否能推广到具有多属性的真实完整评审？
• RQ5 用于评估属性控制、流畅度和内容保留的自动度量与人工评估相比如何？

主要发现

• 解耦在可控文本改写中并非必要；无需对抗性训练的模型也能实现强属性控制和内容保留。
• 基于 back-translation 的目标结合去噪自编码和属性条件，可以获得与先前工作在情感和多属性任务上的结果相竞争或更优的效果。
• 编码器中的时序池化机制使内容保留与风格改变的可调控成为可能。
• 所提多属性模型在自动度量上优于先前基线，并在若干场景下与人工评估保持一致。
• 扩展到具有多属性的完整评审带来更具挑战性的基准测试，并揭示单属性、句子级评估的局限。