[论文解读] The Daunting Task of Real-World Textual Style Transfer Auto-Evaluation

Richard Yuanzhe Pang|arXiv (Cornell University)|Oct 9, 2019

Natural Language Processing Techniques参考文献 29被引用 7

一句话总结

本文批判了当前文本风格迁移任务中自动评估方法的缺陷，指出现有指标（侧重于风格准确度、内容相似性和流畅性）因与真实应用场景不匹配而存在根本性问题。为此，本文提出一种可学习的、基于阈值的几何平均聚合指标 G_t，通过人类偏好对进行训练，以更好地与人类判断对齐，主张采用任务特定的评估框架而非通用指标。

ABSTRACT

The difficulty of textual style transfer lies in the lack of parallel corpora. Numerous advances have been proposed for the unsupervised generation. However, significant problems remain with the auto-evaluation of style transfer tasks. Based on the summary of Pang and Gimpel (2018) and Mir et al. (2019), style transfer evaluations rely on three criteria: style accuracy of transferred sentences, content similarity between original and transferred sentences, and fluency of transferred sentences. We elucidate the problematic current state of style transfer research. Given that current tasks do not represent real use cases of style transfer, current auto-evaluation approach is flawed. This discussion aims to bring researchers to think about the future of style transfer and style transfer evaluation research.

研究动机与目标

• 识别当前文本风格迁移自动评估指标的根本缺陷，特别是其与真实应用场景的错配。
• 挑战‘通用评估指标在各类风格迁移任务中均足够’的假设。
• 提出一种可学习的、基于偏好的聚合方法，以更好地反映人类在风格准确度、内容保留和流畅性方面的判断。
• 倡导从操作型风格基准转向真实世界风格迁移评估框架。
• 通过开发一种能反映各项评估标准之间权衡的指标，提升模型选择与比较的准确性。

提出的方法

• 提出一种基于阈值的几何平均指标 G_t(s)，通过可学习参数 t1、t2、t3、t4，将风格准确度（A）、内容相似度（B）和流畅性/困惑度（C）进行聚合。
• 使用基于边距的损失函数 L(t) = max(0, -G_t(y+) + G_t(y-) + δ)，在人类偏好对 (y+, y-) 上训练阈值参数 t。
• 引入一种灵活的函数形式 f(A,B,C)，其可学习指数 α 允许非线性聚合，从而更好地拟合人类偏好。
• 建议通过从同一原始输入中采样风格迁移后的句子对，并请标注者选择更优输出的方式，在任务特定数据上训练该指标。
• 提出使用多个候选函数 fi，并选择在 G_score 与人类偏好之间一致性最高的函数。
• 建议在单一数据集上训练该指标，以提升在特定任务中的准确性，而非追求通用适用性。

实验结果

研究问题

• RQ1 为何当前风格迁移的自动评估指标在真实应用场景中表现不足？
• RQ2 如何设计一种能更好反映人类在风格准确度、内容保留和流畅性方面判断的评估指标？
• RQ3 可学习的、基于偏好的聚合指标是否能在模型比较中优于固定设计的指标？
• RQ4 在多样化的风格迁移任务中，是否存在或需要一个通用评估指标？
• RQ5 如何有效聚合多个评估标准，同时考虑其之间的权衡？

主要发现

• 模型输出与人类参考句之间的 BLEU 分数，往往在未迁移（基线）句子上高于迁移后的句子，表明 BLEU 不适合作为风格迁移的可靠指标。
• 仅依靠迁移后风格分类的准确度是不够的；内容保留和流畅性也必须评估，如 Pang 和 Gimpel (2018) 所示，这些指标与人类判断高度相关。
• 指标 A、B 和 C 的几何平均值在不同数据集上表现不稳定，因其范围和尺度差异显著，导致通用聚合方法不可靠。
• 在人类偏好对上进行训练的可学习阈值指标 G_t，相比固定聚合方法，能更准确地反映人类判断。
• 通过从偏好数据中学习任务特定的阈值 t1、t2、t3、t4，所提方法能实现与人类偏好更高的对齐度。
• 在单一数据集上训练指标，可获得比试图构建通用评估器更准确的模型比较结果。