[论文解读] Structured Content Preservation for Unsupervised Text Style Transfer

Youzhi Tian, Zhiting Hu+1 more|arXiv (Cornell University)|Oct 15, 2018

Natural Language Processing Techniques被引用 29

一句话总结

本文提出了一种结构化的内容保持型生成模型，用于无监督文本风格迁移，通过强制约束词性（POS）标签（尤其是名词）并整合内容条件语言模型，提升了内容保真度。该方法在情感和政治倾向迁移任务中均达到最先进性能，显著优于先前模型，在内容保持和风格迁移准确率方面表现更优。

ABSTRACT

Text style transfer aims to modify the style of a sentence while keeping its content unchanged. Recent style transfer systems often fail to faithfully preserve the content after changing the style. This paper proposes a structured content preserving model that leverages linguistic information in the structured fine-grained supervisions to better preserve the style-independent content during style transfer. In particular, we achieve the goal by devising rich model objectives based on both the sentence's lexical information and a language model that conditions on content. The resulting model therefore is encouraged to retain the semantic meaning of the target sentences. We perform extensive experiments that compare our model to other existing approaches in the tasks of sentiment and political slant transfer. Our model achieves significant improvement in terms of both content preservation and style transfer in automatic and human evaluation.

研究动机与目标

• 为解决无监督文本风格迁移过程中风格与内容深度纠缠导致的内容退化问题。
• 通过引入结构化语言监督（特别是名词等词性标签），提升风格迁移中的内容保持能力。
• 通过同时基于内容表征和风格嵌入条件化语言模型，提升生成文本的流畅性与内容保真度。
• 构建一个稳健的评估框架，包含一种新颖的POS距离度量，用于量化内容保持程度。
• 在多样化的风格迁移任务（包括情感和政治倾向迁移）中验证模型的有效性。

提出的方法

• 使用注意力自编码器（AE）和二分类风格判别器生成风格迁移后的句子。
• 引入基于POS的约束，最小化输入句与生成句之间（尤其是名词）的POS标签距离。
• 采用内容条件语言模型，基于名词内容和风格表征联合条件化，以提升流畅性与内容保留能力。
• 联合优化内容与风格，结合多种目标：自编码器重建损失、风格分类损失、POS相似性损失以及语言模型似然损失。
• 利用对抗训练，通过风格判别器将内容表征与风格表征解耦。
• 使用REINFORCE或类似强化学习方法优化生成器，以应对离散标记的不可微性问题。

实验结果

研究问题

• RQ1 结构化的语言监督（如POS标签一致性）是否能显著提升无监督文本风格迁移中的内容保持能力？
• RQ2 将内容条件语言模型与POS约束相结合，对生成句子的流畅性与语义保真度有何影响？
• RQ3 所提模型在自动评估与人工评估中，相较于现有无监督风格迁移方法，性能提升程度如何？
• RQ4 该模型是否能在多样化风格迁移任务（如情感与政治倾向迁移）中实现良好泛化？
• RQ5 新颖的POS距离度量能否作为文本风格迁移中内容保持的可靠代理指标？

主要发现

• 在情感迁移任务中，该模型的风格分类器准确率达到92.4%，显著优于Prabhumoye等人（86.5%）和Hu等人（90.7%）。
• 在情感数据集上，该模型BLEU得分达到56.6，显著高于Prabhumoye等人（7.38）和Hu等人（47.5）。
• POS距离度量降低至2.837，表明内容保持能力优于Prabhumoye等人（7.298）和Hu等人（3.524）。
• 在政治倾向迁移任务中，尽管存在政治人物等命名实体的挑战，该模型仍保持高性能，BLEU得分为56.6，POS距离较低。
• 人工评估结果证实，该模型在内容保持方面优于先前方法，且风格迁移更准确。
• 该模型在处理语气微妙或句法复杂的句子（如双重否定或缺失从句）时表现不佳，表明其在处理细微语言现象方面仍存在局限。