[论文解读] TIGERScore: Towards Building Explainable Metric for All Text Generation Tasks

Dongfu Jiang, Yishan Li+4 more|arXiv (Cornell University)|Oct 1, 2023

Topic Modeling被引用 6

一句话总结

TIGERScore 是一种无需参考文本、基于指令引导且可解释的文本生成评估指标，通过在包含 42,000 个样本的指令微调数据集（MetricInstruct）上微调 LLaMA-2 模型，实现错误分析、错误定位和扣分评分。该指标在七个文本生成任务上实现了与人类评分相关性最高的表现——超越了所有无需参考文本和需要参考文本的评估指标，且 70.8% 的人类评估解释准确无误。

ABSTRACT

We present TIGERScore, a extbf{T}rained metric that follows extbf{I}nstruction extbf{G}uidance to perform extbf{E}xplainable, and extbf{R}eference-free evaluation over a wide spectrum of text generation tasks. Different from other automatic evaluation methods that only provide arcane scores, TIGERScore is guided by natural language instruction to provide error analysis to pinpoint the mistakes in the generated text. Our metric is based on LLaMA-2, trained on our meticulously curated instruction-tuning dataset MetricInstruct which covers 6 text generation tasks and 23 text generation datasets. The dataset consists of 42K quadruple in the form of (instruction, input, system output $ ightarrow$ error analysis). We collected the `system outputs' through from a large variety of models to cover different types of errors. To quantitatively assess our metric, we evaluate its correlation with human ratings on 5 held-in datasets, 2 held-out datasets and show that TIGERScore can achieve the open-source SoTA correlation with human ratings across these datasets and almost approaches GPT-4 evaluator. As a reference-free metric, its correlation can even surpass the best existing reference-based metrics. To further qualitatively assess the rationale generated by our metric, we conduct human evaluation on the generated explanations and found that the explanations are 70.8\% accurate. Through these experimental results, we believe TIGERScore demonstrates the possibility of building universal explainable metrics to evaluate any text generation task. All the resourced are released in our project website: \url{https://tiger-ai-lab.github.io/TIGERScore/}.

研究动机与目标

• 为解决现有自动评估指标的局限性，这些局限性包括对黄金参考文本的依赖、在不同任务间泛化能力差，或缺乏错误归因。
• 开发一种适用于多种文本生成任务的通用、可解释且无需参考文本的评估指标。
• 通过生成错误分析来提升模型评估的可信度与可解释性，具体包括识别错误、解释错误原因并分配扣分。
• 在无需参考文本的前提下，实现在多个基准测试中与人类评分高度相关。

提出的方法

• 在精心筛选的 42,000 个样本指令微调数据集（MetricInstruct）上微调 LLaMA-2，输入输出对格式为（指令，输入，系统输出，错误分析）。
• 收集来自 50 多个模型的系统输出，覆盖 23 个文本生成数据集和 6 种任务中的多样化错误类型。
• 使用 GPT-4 生成并筛选高质量的错误分析，确保事实准确性与错误定位的精确性。
• 设计评估流程，为每个错误输出最终的扣分总分（各项扣分之和）和自然语言解释。
• 训练模型生成能够准确定位错误、解释错误性质并提出修改建议的错误分析。
• 使用 Kendall’s、Pearson’s 和 Spearman’s 相关系数在保留数据集和预留数据集上评估该指标与人类评分的相关性。

Figure 1: The upper part shows the input and output format of TIGERScore . The lower part shows the Kendall’s correlation of different metrics w.r.t human ratings, from which we can see TIGERScore achieves the SoTA correlation on most generation tasks.

实验结果

研究问题

• RQ1 无需参考文本的评估指标是否能在多种文本生成任务中实现与人类评分最高的相关性？
• RQ2 基于指令的大型语言模型能否生成准确、定位明确且可操作的错误解释？
• RQ3 训练数据的质量与多样性如何影响可解释评估指标的泛化能力与性能表现？
• RQ4 可解释的评估指标是否在相关性与可解释性两方面均优于现有的基于参考文本和无需参考文本的基线方法？
• RQ5 单一统一的评估指标是否能有效评估多种文本生成任务，而无需针对特定任务进行调整？

主要发现

• TIGERScore 在七个主要文本生成任务中实现了与人类评分最高的 Kendall’s 相关系数，相较于最佳无需参考文本指标（GPTScore）提升 15%，相较于最佳基于参考文本指标（COMET-22）提升 8%。
• 在预留数据集上，TIGERScore 展现出前所未有的泛化能力，其平均 Kendall’s 相关系数较最佳无需参考文本指标高出 13 个百分点，较最佳基于参考文本指标领先 6 个百分点。
• 人类评估证实，TIGERScore 生成的 70.8% 的错误解释准确可信，验证了其可解释性与可靠性。
• TIGERScore 的成功归因于 MetricInstruct 数据集的三大关键特征：任务与数据集的高多样性、错误类型的全面覆盖以及高质量的精心标注。
• TIGERScore 在大多数任务上的平均相关性优于 GPT-4 零样本推理，表明其具备强大的泛化能力与鲁棒性。
• 该指标在摘要生成、机器翻译、对话转文本、推理等多样化任务中均表现出色，证实了其通用性。

Figure 2: Overall pipeline of constructing MetricInstruct through the two-channel collection. The main difference is that the real-world channel collects outputs $y^{\prime}$ from real-world models, while the synthetic channel asks GPT-4 to synthesize an error output based on the provided reference.