[论文解读] TaskWeaver: A Code-First Agent Framework

Bo Qiao, Liqun Li+17 more|arXiv (Cornell University)|Nov 29, 2023

Topic Modeling被引用 4

一句话总结

TaskWeaver 是一种以代码为核心的框架，将用户请求转换为可执行代码，将插件视为可调用函数，从而实现灵活、安全且具备领域感知的 LLM 驱动代理。它支持丰富的数据结构（如 DataFrame），支持动态插件选择，并利用 LLM 实现复杂逻辑，显著提升了在数据科学分析场景中的任务处理能力，具有高可靠性和安全性。

ABSTRACT

Large Language Models (LLMs) have shown impressive abilities in natural language understanding and generation, leading to their widespread use in applications such as chatbots and virtual assistants. However, existing LLM frameworks face limitations in handling domain-specific data analytics tasks with rich data structures. Moreover, they struggle with flexibility to meet diverse user requirements. To address these issues, TaskWeaver is proposed as a code-first framework for building LLM-powered autonomous agents. It converts user requests into executable code and treats user-defined plugins as callable functions. TaskWeaver provides support for rich data structures, flexible plugin usage, and dynamic plugin selection, and leverages LLM coding capabilities for complex logic. It also incorporates domain-specific knowledge through examples and ensures the secure execution of generated code. TaskWeaver offers a powerful and flexible framework for creating intelligent conversational agents that can handle complex tasks and adapt to domain-specific scenarios. The code is open sourced at https://github.com/microsoft/TaskWeaver/.

研究动机与目标

• 解决现有 LLM 框架在处理数据科学任务中丰富数据结构（如 DataFrame 和嵌套对象）时的局限性。
• 支持灵活、动态的插件使用与自定义代码生成集成，以应对临时用户查询。
• 通过示例系统性地整合领域特定知识，提升规划与代码生成的准确性。
• 通过限制高风险操作（如文件删除和密钥访问）确保生成代码的安全执行。
• 提供面向开发者的友好、可扩展的框架，支持跨多轮对话的有状态、迭代式交互。

提出的方法

• 使用 LLM 将用户自然语言请求转换为可执行的 Python 代码，将所有操作（包括插件调用）视为代码函数处理。
• 支持丰富数据结构（如 pandas DataFrame）作为一等对象，使其在插件和代码执行步骤中持久存在并可传递。
• 通过维护多轮对话中的上下文和数据状态，实现有状态执行。
• 支持动态插件选择与使用，使代理可根据任务需求选择合适的插件。
• 通过 few-shot 示例集成领域特定知识，以指导规划与代码生成。
• 通过可自定义的受限操作列表强制执行安全策略，阻止高风险操作（如文件删除和环境变量访问）。

实验结果

研究问题

• RQ1 LLM 驱动的代理如何有效处理涉及丰富数据结构（如 DataFrame）的复杂数据分析任务？
• RQ2 以代码为核心的方案在应对多样化用户请求时，能在多大程度上提升插件与自定义代码集成的灵活性与准确性？
• RQ3 如何系统性地将领域特定知识嵌入代理的规划与代码生成过程中？
• RQ4 哪些机制可确保在代理框架中动态生成代码的安全执行？
• RQ5 有状态的多轮交互在迭代式数据分析工作流中，如何提升代理行为的可靠性和正确性？

主要发现

• TaskWeaver 成功处理了涉及多个插件和丰富数据结构（如从 SQL 数据库加载、分析和可视化时间序列数据）的复杂数据分析任务。
• 该框架实现了跨对话轮次的无缝状态持久化，使代理可在不重新提示或重新处理的情况下引用先前步骤的数据。
• 通过自动纠错机制，TaskWeaver 能够基于执行反馈识别并修复代码错误（如均值计算中的列选择错误），通过修改代码实现修复。
• 通过实施可自定义的受限操作列表，系统可防止高风险操作（如文件删除和密钥泄露），显著提升安全性。
• TaskWeaver 在真实案例研究中表现出强大性能，包括异常检测和数据分析任务，通过结合 LLM 推理、可执行代码与插件编排实现。
• 该框架支持灵活的插件使用与动态选择，使代理能够适应标准和临时查询，而无需为每种场景预先构建插件。