[论文解读] Text Style Transfer: A Review and Experiment Evaluation.

Zhiqiang Hu, Roy Ka-Wei Lee+1 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 150被引用 12

一句话总结

本文对19种最先进（SOTA）的文本风格迁移（TST）模型进行了全面综述与大规模评估，提出了一套分类体系以组织现有方法，并在两个公开数据集上对其性能进行了基准测试。研究揭示了模型泛化能力、评估一致性以及可复现性方面的关键洞察，为TST研究的当前趋势与未来方向提供了新视角。

ABSTRACT

The stylistic properties of text have intrigued computational linguistics researchers in recent years. Specifically, researchers have investigated the Text Style Transfer (TST) task, which aims to change the stylistic properties of the text while retaining its style independent content. Over the last few years, many novel TST algorithms have been developed, while the industry has leveraged these algorithms to enable exciting TST applications. The field of TST research has burgeoned because of this symbiosis. This article aims to provide a comprehensive review of recent research efforts on text style transfer. More concretely, we create a taxonomy to organize the TST models and provide a comprehensive summary of the state of the art. We review the existing evaluation methodologies for TST tasks and conduct a large-scale reproducibility study where we experimentally benchmark 19 state-of-the-art TST algorithms on two publicly available datasets. Finally, we expand on current trends and provide new perspectives on the new and exciting developments in the TST field.

研究动机与目标

• 通过系统性地构建现有模型的分类体系，对文本风格迁移（TST）研究的快速增长内容进行组织与分类。
• 在两个公开可用的数据集上，对19种最先进TST算法的性能进行评估与比较。
• 研究不同TST方法在评估协议上的一致性与可复现性。
• 识别当前TST研究中的关键差距与趋势，尤其关注泛化能力与评估方法论。
• 为未来文本风格迁移研究提供可操作的见解与新视角。

提出的方法

• 基于模型的架构与训练策略，开发了一套分类体系，用于对TST模型进行分类，从而实现对现有方法的系统化组织。
• 通过使用标准化的训练与评估协议，对19种SOTA TST模型进行大规模可复现性研究，重新实现其模型。
• 在两个公开可用的数据集上对所有模型进行基准测试，以确保性能评估的公平性与可比性。
• 结合自动评估指标与人工评估指标，对模型的风格迁移质量与内容保留能力进行评估。
• 分析现有评估方法论在不同TST模型之间的一致性与可靠性。
• 识别影响模型在不同文本领域与风格间泛化能力与性能的关键因素。

实验结果

研究问题

• RQ1 在标准化基准测试下，不同TST模型在风格迁移质量与内容保留方面如何比较？
• RQ2 现有TST模型在多大程度上可复现？其报告结果在不同评估设置下的一致性如何？
• RQ3 当前SOTA TST模型中主导的架构与训练模式是什么？它们如何影响模型性能？
• RQ4 自动评估指标在TST任务中与人工判断的相关性如何？
• RQ5 当前TST评估实践中的关键挑战与局限性是什么？如何加以解决？

主要发现

• 即使在使用相同评估数据集的情况下，不同TST模型报告的性能仍存在显著差异，表明基准测试实践存在不一致性。
• 许多SOTA TST模型在不同文本领域间表现出有限的泛化能力，表明其可能过度拟合于特定的训练分布。
• BLEU与BERTScore等自动评估指标与人工判断存在中等程度的相关性，但单独使用时无法可靠预测风格迁移质量。
• 可复现性研究显示，仅有少数模型能被成功重新实现并达到原始报告的性能水平，凸显了可复现性方面的挑战。
• 分类体系揭示，大多数近期TST模型依赖于序列到序列架构，并采用内容与风格表征解耦的方式，通常结合对抗性训练。
• 人工评估一致显示，内容保留更好且输出更自然流畅的模型排名更高，凸显了流畅性与连贯性在风格迁移中的重要性。