[论文解读] What is wrong with style transfer for texts?

Alexey Tikhonov, Ivan P. Yamshchikov|arXiv (Cornell University)|Aug 13, 2018

Topic Modeling参考文献 10被引用 11

一句话总结

本文批判了文本风格迁移领域缺乏共识的问题，识别出三种有缺陷的范式：临时的风格度量、基于神经机器翻译（NMT）的平行语料库方法，以及NMT之后的零样本方法。本文提出一种形式化方法，将风格与语义正交化，通过损失函数分离语义距离与风格距离，从而在无需显式定义风格的情况下实现有效的风格迁移。

ABSTRACT

A number of recent machine learning papers work with an automated style transfer for texts and, counter to intuition, demonstrate that there is no consensus formulation of this NLP task. Different researchers propose different algorithms, datasets and target metrics to address it. This short opinion paper aims to discuss possible formalization of this NLP task in anticipation of a further growing interest to it.

研究动机与目标

• 识别并批判近期自然语言处理研究中对文本风格迁移形式化方法的碎片化与不一致性。
• 区分临时方法、基于NMT的方法以及NMT之后的方法在风格迁移中的应用，揭示其根本缺陷。
• 主张风格应被视为与语义正交的潜在维度，而非可还原为情感或预定义类别的东西。
• 提出一种基于语义-风格分离的距离度量方法的正式框架，用于风格迁移。
• 确立有效风格迁移任务的标准，以确保风格与语义内容相互独立。

提出的方法

• 将风格迁移形式化为在联合语义-风格空间中沿潜在风格维度的并行移动。
• 将总损失定义为语义距离 $ D_{\mathbb{R}^n}(X,\tilde{X}) $ 与风格距离 $ D_S(X,\tilde{X}) $ 之和，且不对风格空间 $ S $ 强加任何结构。
• 使用 $ \mathbb{R}^n \otimes \mathbb{S} $ 中的句子表示，其中 $ \mathbb{R}^n $ 为语义嵌入空间，$ \mathbb{S} $ 为风格维度。
• 依赖语料级别的探索来定义风格分布，而无需显式风格标签或平行语料库。
• 强调风格必须与语义正交：任何语义内容都应能以任何风格表达。
• 通过在源风格与目标风格分布之间进行群体层面匹配，避免显式分解风格。

实验结果

研究问题

• RQ1 尽管研究兴趣持续增长，为何在定义文本风格迁移方面仍缺乏共识？
• RQ2 为何通过情感或分类器定义风格的临时方法无法捕捉风格的完整意义？
• RQ3 当具有相同语义但不同风格的平行语料库稀缺时，基于NMT的方法在多大程度上可以泛化？
• RQ4 后NMT方法是否能在无平行数据的情况下实现有效的风格迁移？它们面临哪些限制？
• RQ5 一个风格迁移任务必须满足哪些正式标准，才能被认为是有效且有意义的？

主要发现

• 将情感或特定语言特征视为风格的临时方法失败，因为其对风格与语义的分解是人为且非正交的。
• 基于NMT的方法受限于具有相同语义但不同风格的平行语料库稀缺，导致其劳动密集且难以扩展。
• 后NMT方法虽避免了对平行数据的需求，但仍难以在不依赖语义的情况下正确定义风格。
• 所提出的形式化确保了风格与语义正交，从而使得任何语义内容都能以任何风格表达。
• 损失函数 $ \mathcal{L}_{total}(X,\tilde{X}) = D_{\mathbb{R}^n}(X,\tilde{X}) + D_S(X,\tilde{X}) $ 允许在不假设风格空间具有预定义结构的前提下实现有效的风格迁移。
• 该框架通过不依赖预定义风格属性，而是通过在共享表示空间中学习风格的分布匹配，避免了临时度量方法的陷阱。