[论文解读] Which Prompts Make The Difference? Data Prioritization For Efficient Human LLM Evaluation

M. Boubdir, Edward Kim+3 more|arXiv (Cornell University)|Oct 22, 2023

Topic Modeling被引用 4

一句话总结

本文提出一种数据优先策略，通过基于KL散度和交叉熵对提示进行排序，以实现大语言模型高效的人工评估，从而最大化模型的区分能力。在优先排序的前20%实例中，该方法将平局率降低了最多54%，显著减少了人工标注的工作量，同时通过稳定的Elo评分保持了可靠的性能排名。

ABSTRACT

Human evaluation is increasingly critical for assessing large language models, capturing linguistic nuances, and reflecting user preferences more accurately than traditional automated metrics. However, the resource-intensive nature of this type of annotation process poses significant challenges. The key question driving our work: "is it feasible to minimize human-in-the-loop feedback by prioritizing data instances which most effectively distinguish between models?" We evaluate several metric-based methods and find that these metrics enhance the efficiency of human evaluations by minimizing the number of required annotations, thus saving time and cost, while ensuring a robust performance evaluation. We show that our method is effective across widely used model families, reducing instances of indecisive (or "tie") outcomes by up to 54% compared to a random sample when focusing on the top-20 percentile of prioritized instances. This potential reduction in required human effort positions our approach as a valuable strategy in future large language model evaluations.

研究动机与目标

• 通过最小化所需标注数量，减轻人工参与的大语言模型评估的资源负担。
• 识别在成对比较中能最有效区分模型输出的提示。
• 缓解人工评估中的犹豫（平局）结果，避免时间浪费并提高评估效率。
• 通过更智能的提示选择，提升基于Elo评分的模型排名的鲁棒性和稳定性。
• 开发一种系统化、离线的提示优先策略，适用于多种模型家族。

提出的方法

• 使用模型生成结果之间的KL散度和交叉熵对提示进行排序，以估计其差异性。
• 优先选择表现最佳的提示——尤其是差异性较高的提示——用于人工评估。
• 采用成对比较格式，由人工评估者逐个提示对模型输出进行排名。
• 应用Elo评分对模型排名，并追踪评估序列中排名的收敛性和稳定性。
• 在Flan-T5、Dolly-V2、MPT和Falcon等多个模型家族中进行基准测试。
• 与随机采样方法对比，以隔离优先策略带来的性能增益。

实验结果

研究问题

• RQ1 哪些提示在成对模型比较中能产生最明确的人工判断？
• RQ2 基于度量的提示优先策略是否能在不牺牲评估可靠性的情况下减少所需的人工标注数量？
• RQ3 提示优先策略在多大程度上减少了人工评估中的平局结果？
• RQ4 提示排序如何影响基于Elo评分的模型排名的稳定性和收敛性？
• RQ5 该方法是否能在具有不同架构和训练数据的多种模型家族中实现泛化？

主要发现

• 与随机采样相比，该方法在优先排序的前20%提示中，将平局率最高降低了54%。
• 基于KL散度的排序在减少犹豫结果方面优于交叉熵和随机选择。
• 使用优先提示时，Elo评分在早期评估阶段收敛更快且更稳定。
• 该方法在包括Flan-T5、Dolly-V2、MPT和Falcon在内的多种模型家族中均保持了可靠的性能评估。
• 家族内模型比较（如Dolly-V2-7B与12B）的平局率较高，而通过优先策略可有效降低。
• 该方法可显著减少人工标注数量，实现可靠模型排名，从而降低时间和成本。