[论文解读] ST$^2$: Small-data Text Style Transfer via Multi-task Meta-Learning

Xiwen Chen, Kenny Q. Zhu|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 25被引用 4

一句话总结

本文提出 ST²，一种用于少样本文本风格迁移的多任务元学习框架，通过利用跨风格知识，提升在低资源风格（如个人写作风格）上的性能。通过将元学习适配到 CrossAlign 和 VAE 等基础模型上，ST² 即使在训练数据极少的情况下，也能提升内容保留度、风格迁移准确率和流畅度，优于在新型文学风格数据集和标准基准上的最先进方法。

ABSTRACT

Text style transfer aims to paraphrase a sentence in one style into another style while preserving content. Due to lack of parallel training data, state-of-art methods are unsupervised and rely on large datasets that share content. Furthermore, existing methods have been applied on very limited categories of styles such as positive/negative and formal/informal. In this work, we develop a meta-learning framework to transfer between any kind of text styles, including personal writing styles that are more fine-grained, share less content and have much smaller training data. While state-of-art models fail in the few-shot style transfer task, our framework effectively utilizes information from other styles to improve both language fluency and style transfer accuracy.

研究动机与目标

• 为解决少样本文本风格迁移的挑战，特别是针对低资源、细粒度的写作风格（如个人作者语调）。
• 克服现有最先进模型在小规模训练数据集上失败的问题，这些数据集通常缺乏足够的内容重叠。
• 开发一种元学习框架，实现跨多个风格对的知识迁移，以提升单个少样本任务的性能。
• 创建并发布首个公开可用的文学风格迁移数据集，用于少样本风格迁移的基准测试。
• 证明元学习不仅提升模型泛化能力，还增强潜在空间中风格与内容的解耦。

提出的方法

• 将模型无关的元学习（MAML）适配到文本风格迁移，实现仅用少量样本即可快速适应新风格对。
• 采用两种基础模型——CrossAlign 和 VAE——作为主干网络，二者均在潜在空间中实现内容与风格的解耦。
• 同时在多个风格迁移任务上进行训练，每个任务对应一个独特的风格对（如正式到非正式、作者 A 到作者 B）。
• 在元训练过程中利用其他风格对的域外数据，以提升零样本和少样本泛化能力。
• 应用元优化以更新模型参数，使得在新风格对上仅通过少量梯度步骤即可实现快速适应。
• 在元训练前，使用所有可用数据对基础模型进行预训练，以消除单个任务中数据不足带来的偏差。

实验结果

研究问题

• RQ1 当每个风格对的训练数据极为有限时，元学习是否能有效提升少样本文本风格迁移的性能？
• RQ2 跨不同风格对的知识迁移是否能提升低资源环境下的内容保留度、风格迁移准确率和流畅度？
• RQ3 与最先进模型相比，所提出的 ST² 框架在潜在空间中对风格与内容的解耦程度如何？
• RQ4 元学习在提升模型泛化能力方面的作用是否超越语言建模本身，特别是在基础模型在小数据集上表现不佳时？
• RQ5 该框架能否有效应用于现有大规模数据集未涵盖的细粒度、个人写作风格？

主要发现

• ST² 在新型文学风格数据集和标准基准上，均显著优于最先进模型，在内容保留度、风格迁移准确率和流畅度方面表现更优。
• 即使基础模型无法从小数据集中学习到有效的语言模型，该框架仍能提升性能，表明元学习带来的增益远超预训练本身。
• t-SNE 可视化结果证实，ST² 在潜在空间中实现的风格与内容嵌入解耦效果优于预训练的基础模型。
• 该模型在极少量训练数据下对个人写作风格仍能实现优异性能，证明其在细粒度、低资源风格迁移中的适用性。
• 消融实验表明，元学习同时提升了语言模型能力和风格迁移能力，而不仅限于单一组件。
• 文学风格迁移数据集的发布为在真实、低资源环境下评估少样本风格迁移提供了新的基准。