[论文解读] Which is better? Exploring Prompting Strategy For LLM-based Metrics

Joonghoon Kim, So-Yun Park+5 more|arXiv (Cornell University)|Nov 7, 2023

Topic Modeling被引用 4

一句话总结

本文研究了将开源大语言模型（LLM）作为自然语言生成（NLG）评估指标的提示策略，比较了人工与模型生成的指令模板、评分粒度、少样本示例的上下文学习（in-context learning）以及聚合方法。研究发现，采用结构化标准和0–100评分的模型引导提示比传统1–5分制具有更高的与人类判断的相关性，且生成推理过程可增强评估结果的可解释性。

ABSTRACT

This paper describes the DSBA submissions to the Prompting Large Language Models as Explainable Metrics shared task, where systems were submitted to two tracks: small and large summarization tracks. With advanced Large Language Models (LLMs) such as GPT-4, evaluating the quality of Natural Language Generation (NLG) has become increasingly paramount. Traditional similarity-based metrics such as BLEU and ROUGE have shown to misalign with human evaluation and are ill-suited for open-ended generation tasks. To address this issue, we explore the potential capability of LLM-based metrics, especially leveraging open-source LLMs. In this study, wide range of prompts and prompting techniques are systematically analyzed with three approaches: prompting strategy, score aggregation, and explainability. Our research focuses on formulating effective prompt templates, determining the granularity of NLG quality scores and assessing the impact of in-context examples on LLM-based evaluation. Furthermore, three aggregation strategies are compared to identify the most reliable method for aggregating NLG quality scores. To examine explainability, we devise a strategy that generates rationales for the scores and analyzes the characteristics of the explanation produced by the open-source LLMs. Extensive experiments provide insights regarding evaluation capabilities of open-source LLMs and suggest effective prompting strategies.

研究动机与目标

• 解决传统指标（如BLEU和ROUGE）与开放式NLG任务中人类评估之间的不一致问题。
• 探究使用开源大语言模型作为自动评估指标的可行性和有效性。
• 系统比较大语言模型评估中的提示策略、评分粒度、上下文学习以及聚合技术。
• 通过开源模型生成评分推理过程，提升基于大语言模型的评估指标的可解释性。
• 为部署开源大语言模型作为可靠、可复现且可解释的NLG评估工具提供可操作的指导。

提出的方法

• 设计并比较两种提示策略：人工指导提示（HG提示，基于人工标注者指令）与模型指导提示（MG提示，由大语言模型生成的指令）。
• 通过1–5分制与0–100分制评估评分粒度，分析其对与人类判断相关性的影响。
• 通过引入不同类型上下文示例（如少样本示范）测试上下文学习（ICL）的影响，评估其对大语言模型评估一致性的提升作用。
• 比较三种评分聚合策略：多次运行下的均值、中位数和加权平均。
• 利用大语言模型生成评分的推理过程，以提升可解释性，并分析这些解释的质量与一致性。
• 将表现最佳的提示配置应用于Eval4NLP 2023共享任务的测试集（摘要任务），报告在小型与大型赛道基准上的性能表现。

Figure 1: Examples of Human Guideline (HG) prompt and Model Guideline (MG) prompt. HG prompt and MG prompt consists of task description, evaluation criteria, and evaluation steps. The HG prompt is used as the annotation guideline for summarization evaluation, serving as the basis for human annotator

实验结果

研究问题

• RQ1 人工生成与模型生成的指令模板在多大程度上影响基于大语言模型的评估指标与人类判断的相关性？
• RQ2 使用开源大语言模型进行NLG评估时，最优的评分粒度（如1–5分制 vs. 0–100分制）是什么？
• RQ3 通过示例进行上下文学习在多大程度上能提升基于大语言模型评估的可靠性和一致性？
• RQ4 哪种评分聚合策略（均值、中位数、加权平均）能产生最稳健且与人类判断高度相关的结果？
• RQ5 开源大语言模型能否生成有意义且一致的推理过程，从而增强其评估分数的可解释性？

主要发现

• 在与人类判断的相关性方面，模型引导提示（MG）优于人工引导提示（HG），尤其是在采用0–100分制时表现更优。
• 相比1–5分制，0–100分制显著提升了与人类评估的相关性，表明更细粒度的评分能增强评估指标的可靠性。
• 引入上下文示例（ICL）可提升评估的一致性，尤其当示例被精心挑选以反映关键评估标准时效果更明显。
• 与简单的均值聚合相比，中位数或加权平均聚合能产生更稳定且与人类判断更相关的结果。
• 开源大语言模型生成的推理过程具有连贯性和一致性，能提供与人类评估标准对齐的可解释性理由。
• 表现最佳的提示配置在Eval4NLP 2023共享任务中取得了具有竞争力的性能，证明了开源大语言模型作为有效、可解释的NLG评估指标的可行性。

Figure 2: (a) Left - Score Aggregation An example of how the Score Aggregation is calculated. ‘Direct’ uses scores directly generated by the model, ‘Logprob’ uses a weighted summation based on generation probabilities of pre-defined scores (e.g. 1 to 5), and ‘Approximation’ uses an average from N sa