[论文解读] Zero-Shot Fine-Grained Style Transfer: Leveraging Distributed Continuous Style Representations to Transfer To Unseen Styles

Eric M. Smith, Diana Gonzalez-Rico+2 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 20被引用 11

一句话总结

本文提出了一种零样本细粒度风格迁移方法，利用预训练的连续分布式风格表征，将文本迁移至未见过的情感风格，而无需微调。通过将风格分类器与生成模型解耦，并使用共享的低维嵌入空间，该方法仅通过预训练的嵌入投影即可实现对新型、未见情感标签的高保真迁移。

ABSTRACT

Text style transfer is usually performed using attributes that can take a handful of discrete values (e.g., positive to negative reviews). In this work, we introduce an architecture that can leverage pre-trained consistent continuous distributed style representations and use them to transfer to an attribute unseen during training, without requiring any re-tuning of the style transfer model. We demonstrate the method by training an architecture to transfer text conveying one sentiment to another sentiment, using a fine-grained set of over 20 sentiment labels rather than the binary positive/negative often used in style transfer. Our experiments show that this model can then rewrite text to match a target sentiment that was unseen during training.

研究动机与目标

• 在推理过程中无需微调或再训练，实现对未见细粒度情感风格的文本风格迁移。
• 通过使用连续分布式表征，克服离散、粗粒度风格属性（如正面/负面）的局限性，实现更丰富、更细腻的风格控制。
• 通过在不同属性空间间共享嵌入空间，展示对训练数据中不存在的情感风格实现零样本迁移。
• 通过将嵌入从源空间映射到目标空间，探索将风格迁移扩展至完全不同的属性空间（如 EmpatheticDialogues）的可行性。
• 通过示例文本实现隐式风格指定，而非使用离散标签，从而减少量化噪声并提升风格控制的灵活性。

提出的方法

• 利用预训练的监督分类器，在共享的低维嵌入空间中生成风格属性（如情感）的一致性连续分布式表征。
• 通过仅使用分类器输出的嵌入作为条件信号，将风格迁移生成器与分类器解耦，避免端到端微调。
• 采用类似于 Lample 等人（2019）的改进自编码器架构，其中目标风格由预计算的连续嵌入向量而非离散标签进行条件控制。
• 应用线性投影层，将嵌入从源属性空间（如 Reddit 情感）映射到目标属性空间（如 EmpatheticDialogues），实现零样本迁移。
• 在目标领域数据上进行微调，以适应新的语言风格和表达方式，提升在未见属性空间中的性能。
• 推理时通过编码源文本和目标风格嵌入，然后基于两者生成序列，其中风格嵌入由预训练分类器生成。

实验结果

研究问题

• RQ1 仅使用预训练的连续风格嵌入，文本风格迁移模型是否能实现对未见情感风格的零样本泛化，而无需任何微调或再训练？
• RQ2 当将风格嵌入从一个属性空间（如 Reddit 情感）投影到另一个无关的属性空间（如 EmpatheticDialogues）时，零样本迁移的效果如何？
• RQ3 预训练风格迁移模型在通过微调适应新领域时，其性能提升程度如何，同时仍保持零样本泛化能力？
• RQ4 通过示例文本实现隐式风格指定（而非离散标签）是否能提升风格迁移性能并减少量化误差？
• RQ5 从源嵌入空间到目标空间的线性投影性能，与在目标数据上进行端到端训练相比如何？

主要发现

• 该模型成功实现了对训练期间未见过的情感标签的零样本风格迁移，证明了其在相同属性空间中对新型、细粒度风格目标的泛化能力。
• 通过将 Reddit 情感嵌入线性投影到 EmpatheticDialogues 数据集，实现零样本迁移的性能较差（分类器准确率低于 18%），表明源嵌入空间与目标领域之间对齐不足。
• 在 EmpatheticDialogues 数据集上对预训练风格迁移模型进行微调后，迁移性能显著提升，表明当模型接触目标领域语言时，领域适应是有效的。
• 微调后模型的示例生成结果在多种情感标签（如将“焦虑”转换为“希望”或“喜悦”）下均表现出连贯且语境恰当的风格迁移。
• 通过使用示例文本推断目标风格嵌入，该方法实现了隐式风格控制，可在无需显式标签的情况下实现风格的镜像或对比。
• 当存在一致的嵌入空间时，该方法可泛化至不同的属性空间，表明其在多样化风格迁移任务中具有广泛适用性。