[论文解读] Unsupervised Text Style Transfer via Iterative Matching and Translation.

Zhijing Jin, Di Jin+3 more|arXiv (Cornell University)|Jan 31, 2019

Topic Modeling参考文献 14被引用 15

一句话总结

本文提出了一种无监督文本风格迁移方法，通过在源风格和目标风格领域之间迭代匹配语义相似的句子，构建伪平行语料库，然后应用序列到序列模型学习风格迁移。该方法迭代地优化对齐和翻译模型，在情感迁移和正式程度迁移任务上实现了最先进性能。

ABSTRACT

Text style transfer seeks to learn how to automatically rewrite sentences from a source domain to the target domain in different styles, while simultaneously preserving their semantic contents. A major challenge in this task stems from the lack of parallel data that connects the source and target styles. Existing approaches try to disentangle content and style, but this is quite difficult and often results in poor content-preservation and grammaticality. In contrast, we propose a novel approach by first constructing a pseudo-parallel resource that aligns a subset of sentences with similar content between source and target corpus. And then a standard sequence-to-sequence model can be applied to learn the style transfer. Subsequently, we iteratively refine the learned style transfer function while improving upon the imperfections in our original alignment. Our method is applied to the tasks of sentiment modification and formality transfer, where it outperforms state-of-the-art systems by a large margin. As an auxiliary contribution, we produced a publicly-available test set with human-generated style transfers for future community use.

研究动机与目标

• 解决无平行训练数据下的无监督文本风格迁移挑战。
• 克服现有基于解缠方法的局限性，这些方法通常难以保留内容和语法。
• 构建一种可靠、数据驱动的方法，用于对齐不同风格领域中的语义相似句子。
• 通过迭代改进对齐和风格迁移模型，纠正初始伪平行数据中的不完善之处。
• 为未来风格迁移系统评估提供一个公开可获取的人工标注测试集。

提出的方法

• 通过识别并匹配源风格语料和目标风格语料中语义内容相似的句子，构建伪平行语料库。
• 在初始伪平行数据上训练标准的序列到序列模型，以学习风格迁移函数。
• 通过当前模型的预测结果重新评估句子对，迭代地优化对齐，以检测并纠正错误对齐。
• 通过在优化后的对齐数据上重新训练风格迁移模型，提升流畅性和内容保留度。
• 采用基于检索的匹配策略，识别跨领域中语义相似度高的句子对候选。
• 应用迭代优化，逐步减少错误传播并提升模型泛化能力。

实验结果

研究问题

• RQ1 是否可以无需平行标注，有效构建伪平行语料库以实现无监督风格迁移？
• RQ2 如何通过迭代优化对齐和模型参数来提升风格迁移性能？
• RQ3 与基于解缠的方法相比，该方法在语义内容保留和语法正确性方面表现如何？
• RQ4 该方法是否能在情感迁移和正式程度迁移等不同风格迁移任务上实现泛化？
• RQ5 在人工评估的基准上，该方法的性能与最先进系统相比如何？

主要发现

• 所提方法在情感修改和正式程度迁移任务上均达到最先进性能。
• 迭代优化过程显著提升了基线方法的流畅性和内容保留度。
• 该方法优于现有依赖解缠的无监督方法，后者通常在语法正确性和语义一致性方面表现不佳。
• 作者发布了公开可获取的测试集，其中包含人工生成的风格迁移样本，支持标准化评估。
• 结果表明，在低资源环境下，从优化后的伪平行语料库中学习比端到端解缠更有效。
• 该方法在多种多样的风格迁移任务中表现出鲁棒性，表明其具备强大的泛化能力。