[论文解读] Self-Adaptive Large Language Model (LLM)-Based Multiagent Systems

Nathalia Nascimento, Paulo Alencar+1 more|arXiv (Cornell University)|Jul 12, 2023

Multi-Agent Systems and Negotiation被引用 4

一句话总结

本文提出一种自适应多智能体系统（MAS），将大型语言模型（LLM），如GPT-4，集成到MAPE-K控制环路中，使自主智能体能够在动态环境中实现监控、分析、规划与执行的自适应行为。通过为智能体配备基于LLM的通信能力，系统实现了涌现式协作与智能决策，无需经历进化通信机制的开发过程，显著提升了多智能体系统在适应性与表达性方面的表现。

ABSTRACT

In autonomic computing, self-adaptation has been proposed as a fundamental paradigm to manage the complexity of multiagent systems (MASs). This achieved by extending a system with support to monitor and adapt itself to achieve specific concerns of interest. Communication in these systems is key given that in scenarios involving agent interaction, it enhances cooperation and reduces coordination challenges by enabling direct, clear information exchange. However, improving the expressiveness of the interaction communication with MASs is not without challenges. In this sense, the interplay between self-adaptive systems and effective communication is crucial for future MAS advancements. In this paper, we propose the integration of large language models (LLMs) such as GPT-based technologies into multiagent systems. We anchor our methodology on the MAPE-K model, which is renowned for its robust support in monitoring, analyzing, planning, and executing system adaptations in response to dynamic environments. We also present a practical illustration of the proposed approach, in which we implement and assess a basic MAS-based application. The approach significantly advances the state-of-the-art of self-adaptive systems by proposing a new paradigm for MAS self-adaptation of autonomous systems based on LLM capabilities.

研究动机与目标

• 通过将大型语言模型（LLM）集成到智能体通信中，解决多智能体系统（MASs）中表达能力有限与协调困难的问题。
• 通过增强LLM能力的MAPE-K控制环路，使自主智能体能够在动态环境中实现自我适应。
• 探究预先配备LLM的智能体是否能够绕过进化通信机制的开发，立即执行复杂且协调的任务。
• 评估LLM集成智能体在真实世界MAS场景（如动态市场）中的可行性与性能表现。
• 探索未来方向，包括非共享LLM账户、更广泛的应用场景，以及人机协同交互以提升可解释性与控制能力。

提出的方法

• 系统基于MAPE-K模型构建，每个智能体通过嵌入LLM作为核心推理引擎，执行监控、分析、规划与执行（MAPE）操作。
• 每个智能体使用GPT-4作为生成式AI组件，基于环境输入与其他智能体的通信，解读传感器数据、生成响应并规划行动。
• LLM处理自然语言输入（如其他智能体的消息与传感器数据），并生成结构化、目标导向的响应，以指导适应性决策。
• 系统采用知识组件，用于存储与检索与智能体相关的规则、目标与行为偏好，实现长期持续的适应性。
• 智能体通过自然语言消息进行通信，实现高层级、高表达性的协调，无需硬编码通信协议。
• 采用市场模拟作为测试平台，智能体在动态市场条件下自主买卖书籍，依据LLM驱动的策略进行决策。

实验结果

研究问题

• RQ1 LLM驱动的智能体是否能够在不通过进化算法演化通信协议的情况下，实现在多智能体系统中的自我适应？
• RQ2 将LLM集成到MAPE-K环路中，如何提升智能体在动态环境中交互的表达性与协调能力？
• RQ3 LLM在多智能体系统中，能够在多大程度上实现无需显式协调机制的涌现式协作行为？
• RQ4 在多个智能体之间共享单一LLM实例与使用独立LLM账户相比，对性能与行为有何影响？
• RQ5 如何通过人机协同交互提升基于LLM的自适应多智能体系统在可解释性与可控性方面的表现？

主要发现

• 将LLM集成到MAPE-K环路中，使智能体能够在模拟的书店市场环境中动态适应不断变化的市场条件，展现出实时决策与协调能力。
• 配备GPT-4的智能体在无预设通信规则的情况下，展现出价格协商与供需平衡等涌现式协作行为。
• 使用共享LLM账户引入了智能体间的潜在相互影响，表明为智能体提供独立LLM实例对于隔离行为表现与确保准确性能评估至关重要。
• 该系统显著减少了对进化通信机制开发的需求，使智能体从初始阶段即可通过自然语言推理执行复杂任务。
• 通过自然语言解释实现可解释的自我适应，提升了决策透明度与人类对智能体行为的理解。
• 未来工作表明，通过对话式接口实现人机协同交互，可增强系统控制力、信任度，并实现对智能体行为的定制化。