[论文解读] Multidimensional Evaluation for Text Style Transfer Using ChatGPT

Huiyuan Lai, Antonio Toral+1 more|arXiv (Cornell University)|Apr 26, 2023

Topic Modeling被引用 6

一句话总结

本文研究了ChatGPT是否能够作为文本风格迁移（TST）任务中可靠、零样本、多维的评估工具，重点关注风格强度、内容保留度和流畅性。研究结果表明，通过精心设计的提示词，ChatGPT在与人类判断的相关性方面表现优异——尤其在数据集层面，其表现优于现有自动评估指标，显示出其作为统一、无需微调的TST评估工具的巨大潜力。

ABSTRACT

We investigate the potential of ChatGPT as a multidimensional evaluator for the task of \emph{Text Style Transfer}, alongside, and in comparison to, existing automatic metrics as well as human judgements. We focus on a zero-shot setting, i.e. prompting ChatGPT with specific task instructions, and test its performance on three commonly-used dimensions of text style transfer evaluation: style strength, content preservation, and fluency. We perform a comprehensive correlation analysis for two transfer directions (and overall) at different levels. Compared to existing automatic metrics, ChatGPT achieves competitive correlations with human judgments. These preliminary results are expected to provide a first glimpse into the role of large language models in the multidimensional evaluation of stylized text generation.

研究动机与目标

• 评估ChatGPT是否能够作为多维度文本风格迁移任务中可靠、零样本的评估工具。
• 将ChatGPT的评估性能与现有自动评估指标及人类判断进行对比。
• 探究不同提示模板对评估一致性和准确性的影响力。
• 探索是否可使用单一大语言模型在无需任务特定微调的情况下，对TST的多个维度进行评估。

提出的方法

• 作者通过任务特定的指令提示ChatGPT，从风格强度、内容保留度和流畅性三个维度对TST输出进行评估。
• 利用先前研究中人工标注的数据集，计算ChatGPT评估结果与人类判断之间的相关性得分。
• 测试了多种提示模板，包括单维提示和多维提示，以评估其对性能的影响。
• 在样本级、系统级和数据集级三个层次进行相关性分析，采用Spearman等级相关系数等标准指标。
• 将ChatGPT的表现与16种现有自动评估指标（包括ROUGE、BERTScore和COMET）进行对比。
• 所有提示词、代码和评估结果均已公开发布，以确保可复现性。

实验结果

研究问题

• RQ1 ChatGPT能否作为多维度文本风格迁移任务中可靠、零样本的评估工具？
• RQ2 ChatGPT与人类判断的相关性相较于现有自动评估指标表现如何？
• RQ3 哪种提示模板配置能为ChatGPT带来最一致且准确的评估结果？
• RQ4 在评估最为复杂的数据集层面，ChatGPT是否优于自动评估指标？

主要发现

• ChatGPT在所有三个维度——内容保留度、风格强度和流畅性——上均实现了与人类判断具有竞争力的相关性，尤其在数据集层面表现突出。
• 在18次评估中的14次，ChatGPT在数据集层面优于全部16种测试的自动评估指标。
• 单维提示（逐个评估单一维度）的性能优于多维提示，除非在系统级的风格和流畅性评估中。
• 尽管GPT-2在特定领域数据上进行了微调，但ChatGPT的相关性仍高于GPT-2，表明零样本提示的强大能力。
• ChatGPT存在局限性，如拒绝评估有害内容，以及对相同输出的评分不一致，凸显了提示词稳定性的重要性。
• 本研究提供了证据，表明类似ChatGPT的大语言模型可作为统一、无需微调的多维TST评估工具，从而减少对昂贵人工标注的依赖。