[论文解读] Richelieu: Self-Evolving LLM-Based Agents for AI Diplomacy

Zhenyu Guan, Xiangyu Kong+2 more|arXiv (Cornell University)|Jul 9, 2024

Multi-Agent Systems and Negotiation被引用 4

一句话总结

本文介绍了Richelieu，一种基于大语言模型（LLM）的自演化AI代理，用于外交博弈。该代理结合了战略规划、记忆机制、社交推理与自我对弈，无需人类数据即可持续提升性能。在零样本评估中，其对Cicero的胜率高达44.4%，优于当前最先进代理Cicero的表现。

ABSTRACT

Diplomacy is one of the most sophisticated activities in human society, involving complex interactions among multiple parties that require skills in social reasoning, negotiation, and long-term strategic planning. Previous AI agents have demonstrated their ability to handle multi-step games and large action spaces in multi-agent tasks. However, diplomacy involves a staggering magnitude of decision spaces, especially considering the negotiation stage required. While recent agents based on large language models (LLMs) have shown potential in various applications, they still struggle with extended planning periods in complex multi-agent settings. Leveraging recent technologies for LLM-based agents, we aim to explore AI's potential to create a human-like agent capable of executing comprehensive multi-agent missions by integrating three fundamental capabilities: 1) strategic planning with memory and reflection; 2) goal-oriented negotiation with social reasoning; and 3) augmenting memory through self-play games for self-evolution without human in the loop.

研究动机与目标

• 开发一种不依赖领域特定人类示范数据的AI外交代理。
• 利用大语言模型在多智能体环境中实现长周期战略规划与社交推理。
• 通过自我对弈游戏设计一种自演化框架，提升记忆与反思能力，实现持续改进。
• 验证该代理在不同大语言模型架构（包括GPT-4.0与Llama 3）上的泛化能力。
• 在外交博弈中实现超越当前最先进代理（如Cicero）的性能表现。

提出的方法

• 代理采用分层规划模块，结合记忆与反思机制，平衡短期行动与长期目标。
• 利用社交推理模块评估信任度、识别欺骗行为，并根据部分观测结果动态调整联盟策略。
• 通过自我对弈机制生成无须人类数据的合成经验，借助迭代对弈实现持续的自我演化。
• 记忆模块用于存储与检索过往谈判与行动记录，以支持未来决策与反思性学习。
• 框架将大语言模型与模块化组件结合，支持微调或替换，确保与多种大语言模型（如GPT-4.0与Llama 3）的兼容性。
• 代理通过反思机制评估自身决策，依据过往结果与经验动态调整策略。

实验结果

研究问题

• RQ1 基于大语言模型的代理是否能在复杂多智能体环境中，无需人类标注的谈判数据，实现类人外交推理？
• RQ2 自我对弈在生成高质量训练经验以训练自演化AI外交代理方面有多高效？
• RQ3 记忆与反思机制在多智能体游戏中对提升长期战略规划与社交推理能力的贡献程度如何？
• RQ4 该代理在不同大语言模型架构（如GPT-4.0与Llama 3）上的泛化能力如何？
• RQ5 该代理是否能在不依赖大规模人类示范数据的前提下，超越当前最先进代理（如Cicero）在外交博弈中的表现？

主要发现

• 在零样本评估中，Richelieu对Cicero的胜率为44.4%，显著优于Cicero 94.6%的失败率。
• 代理在谈判方面表现更优，当满足全部四项联盟条件时，其胜率高达39.5%，而Cicero的失败率高达87.5%。
• 消融实验证实，记忆、反思与自我对弈的结合对性能至关重要，各组件共同提升了战略一致性与适应性。
• 该框架在不同大语言模型（包括GPT-4.0与Llama 3）上均表现出良好泛化能力，性能持续提升。
• 在示例案例中，Richelieu成功组建联盟以应对潜在威胁，并识破欺骗行为（如英国提出的虚假联盟提议），从而获得战略优势。
• 通过自我对弈实现的自演化机制使代理在无须人类标注数据的情况下发展出复杂且长期的战略，证明了自主智能体演化的可行性。