[论文解读] STRIDE: A Tool-Assisted LLM Agent Framework for Strategic and Interactive Decision-Making

Chuanhao Li, Runhan Yang+5 more|arXiv (Cornell University)|May 25, 2024

Multi-Agent Systems and Negotiation被引用 4

一句话总结

本文提出了 STRIDE，一种通过结构化推理、记忆和专用工具增强复杂环境（如讨价还价和博弈论）中战略性和交互式决策的工具增强型 LLM 代理框架。通过整合 Minimax 算法（带 alpha-beta 剪枝）并利用 LLM 协调多步规划，STRIDE 在井字棋和连 N 游戏中显著优于基线 LLM 模型，在井字棋中对零样本思维链模型实现了 90% 的胜率。

ABSTRACT

Large Language Models (LLMs) like GPT-4 have revolutionized natural language processing, showing remarkable linguistic proficiency and reasoning capabilities. However, their application in strategic multi-agent decision-making environments is hampered by significant limitations including poor mathematical reasoning, difficulty in following instructions, and a tendency to generate incorrect information. These deficiencies hinder their performance in strategic and interactive tasks that demand adherence to nuanced game rules, long-term planning, exploration in unknown environments, and anticipation of opponents' moves. To overcome these obstacles, this paper presents a novel LLM agent framework equipped with memory and specialized tools to enhance their strategic decision-making capabilities. We deploy the tools in a number of economically important environments, in particular bilateral bargaining and multi-agent and dynamic mechanism design. We employ quantitative metrics to assess the framework's performance in various strategic decision-making problems. Our findings establish that our enhanced framework significantly improves the strategic decision-making capability of LLMs. While we highlight the inherent limitations of current LLM models, we demonstrate the improvements through targeted enhancements, suggesting a promising direction for future developments in LLM applications for interactive environments.

研究动机与目标

• 解决 LLM 在博弈论和机制设计等战略、交互式及长时程决策任务中的局限性。
• 通过集成外部工具和记忆，克服 LLM 在数学推理、指令遵循和幻觉方面的问题。
• 开发一种框架，使 LLM 能够通过逆向归纳和算法模拟执行结构化、多步推理。
• 在双边讨价还价、动态机制设计和序贯博弈等经济相关领域评估该框架。
• 证明工具增强型 LLM 代理在标准提示方法失效的战略环境中可实现近似最优性能。

提出的方法

• STRIDE 使用控制器 LLM 协调包含规划、工具使用和反思的结构化思维序列，实现多步推理。
• 该框架集成了 CalculateScores 和 GetScores 等操作工具，用于模拟广度优先 Minimax 算法（带 alpha-beta 剪枝）等算法过程。
• 采用逆向归纳法和工作记忆存储与检索游戏状态的计算得分，实现最优走法选择。
• 系统设计用于在不同战略场景中模拟参考算法，如值迭代、置信上界值迭代和逆向归纳法。
• 通过在已知动力学下的规划与工具辅助模拟下的探索之间动态切换，支持已知和未知环境模型。
• 该框架通过针对特定任务（包括马尔可夫决策过程、动态机制设计和讨价还价游戏）定制的提示进行评估。

实验结果

研究问题

• RQ1 具备工具增强和记忆的 LLM 代理是否能在战略决策任务中超越标准提示方法？
• RQ2 STRIDE 框架在需要长时程规划和对手建模的环境中（如序贯讨价还价）效果如何？
• RQ3 LLM 通过工具辅助推理在多大程度上能模拟 Minimax（带 alpha-beta 剪枝）等复杂算法？
• RQ4 与零样本思维链提示相比，记忆和结构化工具使用是否提升了井字棋和连 N 游戏中的性能？
• RQ5 该框架能否在不同战略领域（包括动态机制设计和双边讨价还价）中实现泛化？

主要发现

• 在井字棋中，STRIDE 对零样本思维链模型的胜率为 90%，对零样本思维链加代码的模型胜率为 80%。
• STRIDE 对抗具有蒙特卡洛树搜索（MCTS）的 RAFA 代理赢得了 50% 的对局，表明其在对抗专业代理时表现强劲。
• 在连 3 游戏中，STRIDE 胜率为 30%，显著优于零样本思维链（胜率 60%）和零样本思维链加代码（胜率 90%），表明其具有战略一致性。
• 在连 4 游戏中，STRIDE 胜率为 50%，与基线零样本思维链加代码持平，且在平局结果上优于零样本思维链（50% vs. 10% 的平局）。
• 在 10 次运行中，STRIDE 在井字棋中实现了 80% 的平局率，表明其在对称游戏中具有高度稳定性和近似最优性。
• 该框架在多个战略领域（包括马尔可夫决策过程、动态机制设计和讨价还价游戏）中表现出一致性能，相较于基线 LLM 有可测量的性能提升。