[论文解读] Self-Organized Agents: A LLM Multi-Agent Framework toward Ultra Large-Scale Code Generation and Optimization

Yoïchi Ishibashi, Yoshimasa Nishimura|arXiv (Cornell University)|Apr 2, 2024

Modular Robots and Swarm Intelligence被引用 4

一句话总结

本文提出自组织智能体（SoA），一种新颖的大型语言模型多智能体框架，通过允许智能体根据问题复杂度自主增殖，实现可扩展、动态的代码生成与优化。每个智能体负责管理固定且较小的代码片段，而协作式自组织机制使系统能够扩展至超大规模代码库，相较于最先进单智能体基线模型，在HumanEval基准上实现了Pass@1准确率5%的提升。

ABSTRACT

Recent advancements in automatic code generation using large language model (LLM) agent have brought us closer to the future of automated software development. However, existing single-agent approaches face limitations in generating and improving large-scale, complex codebases due to constraints in context length. To tackle this challenge, we propose Self-Organized multi-Agent framework (SoA), a novel multi-agent framework that enables the scalable and efficient generation and optimization of large-scale code. In SoA, self-organized agents operate independently to generate and modify code components while seamlessly collaborating to construct the overall codebase. A key feature of our framework is the automatic multiplication of agents based on problem complexity, allowing for dynamic scalability. This enables the overall code volume to be increased indefinitely according to the number of agents, while the amount of code managed by each agent remains constant. We evaluate SoA on the HumanEval benchmark and demonstrate that, compared to a single-agent system, each agent in SoA handles significantly less code, yet the overall generated code is substantially greater. Moreover, SoA surpasses the powerful single-agent baseline by 5% in terms of Pass@1 accuracy.

研究动机与目标

• 为克服单智能体大型语言模型在生成和优化大规模复杂代码库时受上下文长度限制导致的可扩展性瓶颈。
• 通过根据问题复杂度实现智能体自主增殖，实现动态、自组织的代码生成。
• 在保持每个智能体管理代码量恒定的同时，实现整体代码库的无限扩展。
• 通过去中心化、协作式智能体架构提升代码生成质量和效率。
• 提供一种灵活的微观级代码生成框架，以补充现有宏观级多智能体软件开发方法。

提出的方法

• 智能体根据功能分解而非预设角色，被分配生成和修改特定的代码组件。
• 该框架采用自组织机制，智能体在无中心控制的情况下协调与协作，以组装完整的代码库。
• 基于问题复杂度自动触发智能体增殖，确保每个智能体处理恒定且可管理的代码量。
• 通过以智能体为节点的树状结构，实现可扩展、并行的代码生成与修改。
• 系统使用提示工程技巧，如思维树（ToT）和思想骨架（SoT），以引导推理并提升生成效率。
• 智能体通过轻量级协调机制进行通信与同步，以保持代码库中的一致性与正确性。

Figure 1: Left (single agent): A single agent is solely responsible for the entire implementation. As the codebase grows larger, the load increases for code generation, modification, and memory management, making it difficult to manage and develop. The larger the entire codebase becomes, the more it

实验结果

研究问题

• RQ1 自组织多智能体框架能否在保持单个智能体工作负载恒定的同时，动态扩展代码生成能力？
• RQ2 基于问题复杂度的智能体增殖如何影响整体代码量与生成质量？
• RQ3 SoA框架在代码生成准确率与可扩展性方面，相较于单智能体基线模型的优越程度如何？
• RQ4 缺乏固定角色在复杂代码生成任务中如何提升适应性与性能？
• RQ5 去中心化、协作式智能体行为对代码质量与系统鲁棒性有何影响？

主要发现

• SoA在HumanEval基准上的Pass@1准确率比Reflexion单智能体基线高出5%。
• SoA中的每个智能体所管理的代码量显著少于单智能体系统，而总生成代码量则显著更大。
• 该框架通过自动智能体增殖实现了动态可扩展性，支持代码库的无限增长。
• 智能体的自组织机制实现了高效的协作，无需中心化监督，同时保持了代码的一致性与正确性。
• 与基于角色的多智能体框架相比，该框架采用基于功能的微观级智能体分配策略，在适应性与代码生成质量方面表现更优。
• 系统的性能对大型语言模型的选择和测试质量敏感，表明在通信机制与容错能力方面仍有优化空间。

Figure 2: Overview of code generation. Child agents generate executable Python function from a given docstring. The Mother agent generates the skeleton of the function. The Mother spawns a new initialized agent (Child or Mother) and delegates unimplemented functions.