[论文解读] TPTU: Large Language Model-based AI Agents for Task Planning and Tool Usage

Jingqing Ruan, Yihong Chen+9 more|arXiv (Cornell University)|Aug 7, 2023

Topic Modeling被引用 11

一句话总结

该论文提出一个结构化框架，使基于LLM的AI代理能够执行任务计划和工具使用（TPTU），引入一步与序列代理，并在计划和工具使用任务上对多种LLM进行评估，给出详细的经验结果。

ABSTRACT

With recent advancements in natural language processing, Large Language Models (LLMs) have emerged as powerful tools for various real-world applications. Despite their prowess, the intrinsic generative abilities of LLMs may prove insufficient for handling complex tasks which necessitate a combination of task planning and the usage of external tools. In this paper, we first propose a structured framework tailored for LLM-based AI Agents and discuss the crucial capabilities necessary for tackling intricate problems. Within this framework, we design two distinct types of agents (i.e., one-step agent and sequential agent) to execute the inference process. Subsequently, we instantiate the framework using various LLMs and evaluate their Task Planning and Tool Usage (TPTU) abilities on typical tasks. By highlighting key findings and challenges, our goal is to provide a helpful resource for researchers and practitioners to leverage the power of LLMs in their AI applications. Our study emphasizes the substantial potential of these models, while also identifying areas that need more investigation and improvement.

研究动机与目标

• 提出一个结构化框架，以评估开源LLM的TPTU能力。
• 设计两种代理类型（一步代理和序列代理），以研究推理策略。
• 用多样的LLM实例化框架，并评估计划和工具使用的性能。
• 识别LLM-based代理的弱点，以指导未来研究。

提出的方法

• 定义六组件AI Agent框架：Task Instruction, Designed Prompt, Tool Set, LLM, Intermediate Output, Final Answer.
• 引入两种代理体系结构：One-step Agent（TPTU-OA）和 Sequential Agent（TPTU-SA）。
• 使用定制提示评估规划能力，包括工具顺序和子任务描述。
• 在定义的12种工具集合中评估工具使用情况（例如，SQL 生成器、Python 生成器、天气查询、翻译等）。
• 测试多种LLM（ChatGPT、Claude、InternLM、Ziya、ChatGLM、Chinese-Alpaca-Plus 等）。
• 分析结果以识别在规划和工具使用方面的优势、劣势，以及提示设计的效果。

实验结果

研究问题

• RQ1 TPTU-OA 与 TPTU-SA 在规划工具使用顺序方面的能力如何？
• RQ2 基于LLM的代理是否能够生成准确的工具-子任务对并使用无关工具？
• RQ3 在 TPTU 框架内，不同的 LLM 在 SQL 和数学/代码生成上的表现如何？
• RQ4 基于LLM的AI代理在任务规划和工具使用方面的主要优点和弱点是什么？

主要发现

• 工具顺序规划的准确性因模型而异，在某些设置中达到 100%（例如 Table 3 的 ChatGPT 和 Claude）。
• 计划与子任务生成方法在生成带有子任务描述的工具顺序时准确性下降，但统一格式的工具-子任务对提示提高了性能（在统一格式中提升了 52.9%）。
• 对于高性能的LLM，在评估中序列代理（TPTU-SA）通常优于一步代理（TPTU-OA）。
• 该框架通过精心设计的提示实现对无关工具的区分，表明工具选择有效。
• 单工具 SQL 生成在某些模型上显示出高准确性（例如，ChatGPT 90%、Claude 100%、InternLM 90%），在其他情况下存在显著的跨模型差异。
• 复杂的 SQL 和数学代码生成结果因模型和提示方式（直接引导 vs. CoT）而异，凸显了模型相关的优势。