[论文解读] TaskBench: Benchmarking Large Language Models for Task Automation

Yongliang Shen, Kaitao Song+7 more|arXiv (Cornell University)|Nov 30, 2023

Topic Modeling被引用 7

一句话总结

TaskBench 引入了一个全面的基准测试，通过建模三个核心阶段——任务分解、工具调用和参数预测——来评估大语言模型（LLMs）在任务自动化中的表现。该基准采用基于工具图（Tool Graphs）的后向指令方法进行数据合成，并结合多指标评估框架（TaskEval），显示出与人类评估高度一致的结果（Kendall’s τ = 0.89），并揭示了 GPT-4 在参数预测方面显著优于开源模型的表现（v-F1 = 71.14%）。

ABSTRACT

In recent years, the remarkable progress of large language models (LLMs) has sparked interest in task automation, which involves decomposing complex tasks described by user instructions into sub-tasks and invoking external tools to execute them, playing a central role in autonomous agents. However, there is a lack of systematic and standardized benchmarks to promote the development of LLMs in task automation. To address this, we introduce TaskBench, a comprehensive framework to evaluate the capability of LLMs in task automation. Specifically, task automation can be divided into three critical stages: task decomposition, tool selection, and parameter prediction. To tackle the complexities inherent in these stages, we introduce the concept of Tool Graph to represent decomposed tasks and adopt a back-instruct method to generate high-quality user instructions. We propose TaskEval, a multi-faceted evaluation methodology that assesses LLM performance across these three stages. Our approach combines automated construction with rigorous human verification, ensuring high consistency with human evaluation. Experimental results demonstrate that TaskBench effectively reflects the capabilities of various LLMs in task automation. It provides insights into model performance across different task complexities and domains, pushing the boundaries of what current models can achieve. TaskBench offers a scalable, adaptable, and reliable benchmark for advancing LLM-based autonomous agents.

研究动机与目标

• 解决在现实世界任务自动化中缺乏标准化、系统化基准测试的问题，此类任务涉及超越标准自然语言处理任务的多个阶段。
• 克服在涉及外部工具和依赖关系的复杂多阶段任务自动化场景中，收集高质量、多样化评估数据的挑战。
• 开发一个可靠、自动化的评估框架，以完整捕捉任务自动化的端到端流程：分解、工具选择和参数预测。
• 通过将自动化指标与人类判断进行验证，确保评估的保真度，实现与人类排名的高度相关性（Kendall’s τ = 0.89）。
• 识别影响 LLM 在任务自动化中性能的关键因素，如推理能力、指令遵循能力、代码预训练以及对齐技术。

提出的方法

• 引入工具图（TG）作为工具及其依赖关系的结构化表示，以系统化地采样任务自动化场景。
• 采用后向指令方法，通过从工具图中预定义的子任务和工具调用图反向生成逼真的用户指令。
• 设计 TaskEval，一个多维评估框架，用于衡量在三个阶段的表现：任务分解（n-F1）、工具调用（n-F1）和参数预测（v-F1）。
• 采用混合数据收集策略，结合自动化生成与人工验证，以确保高质量、逼真的评估数据。
• 应用统计度量（Kendall’s τ 和 Spearman’s ρ）验证 TaskBench 评分与人类评估排名之间的一致性。
• 在三个领域（Hugging Face、多媒体和日常应用 API）对多种 LLM 进行评估，包括 GPT-4 和开源模型（如 Code-Llama 和 Vicuna）。

实验结果

研究问题

• RQ1 通过后向指令和工具图进行自动化数据生成，在多大程度上能够生成高保真度、逼真的任务自动化指令，以反映现实世界的复杂性？
• RQ2 现有 LLM 在任务自动化的三个核心阶段（分解、工具调用和参数预测）中的表现如何？
• RQ3 TaskBench 评估结果在可执行性和问题解决有效性方面与人类判断的相关性有多高？
• RQ4 哪些模型特性（如代码预训练、指令微调、强化学习人类反馈对齐）对 LLM 在任务自动化中的表现影响最大？
• RQ5 开源 LLM 与 GPT-4 等专有模型相比，在端到端任务自动化能力方面表现如何？

主要发现

• TaskBench 与人类评估表现出高度一致性，Kendall’s τ 达到 0.89，Spearman’s ρ 达到 0.78，证实了其作为基准测试的可靠性。
• GPT-4 在所有领域中表现最佳，其在日常应用 API 中的 v-F1 得分为 71.14%，显著优于开源模型。
• 经过指令遵循数据微调的开源模型（如 Vicuna-13b、WizardLLM-13b）优于基础版 Llama-2-13b，凸显了指令微调的重要性。
• 代码预训练模型（如 Code-Llama）在 v-F1 上比非代码预训练模型高出 12.76%，表明代码理解能力有助于提升参数预测性能。
• 采用人类对齐技术（如 RLHF）的模型展现出更强的推理与泛化能力，减少过拟合，提升自动化性能。
• 开源 LLM 在各领域的平均 v-F1 得分为：Hugging Face 领域 60.86%，多媒体领域 72.31%，日常应用 API 领域 71.14%，揭示了在参数预测准确性方面仍存在持续差距。