[论文解读] Put Your Money Where Your Mouth Is: Evaluating Strategic Planning and Execution of LLM Agents in an Auction Arena

Jiangjie Chen, Siyu Yuan+3 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用 5

一句话总结

本文介绍了 AucArena，一个用于评估大型语言模型（LLM）代理在动态、竞争性拍卖环境中的战略规划与执行能力的仿真环境。通过基于提示的架构，LLM 展现出自适应的出价行为，但性能差异显著，甚至 GPT-4 有时也表现不如启发式方法和人类代理，凸显了改进代理设计的必要性。

ABSTRACT

Recent advancements in Large Language Models (LLMs) showcase advanced reasoning, yet NLP evaluations often depend on static benchmarks. Evaluating this necessitates environments that test strategic reasoning in dynamic, competitive scenarios requiring long-term planning. We introduce AucArena, a novel evaluation suite that simulates auctions, a setting chosen for being highly unpredictable and involving many skills related to resource and risk management, while also being easy to evaluate. We conduct controlled experiments using state-of-the-art LLMs to power bidding agents to benchmark their planning and execution skills. Our research demonstrates that LLMs, such as GPT-4, possess key skills for auction participation, such as budget management and goal adherence, which improve with adaptive strategies. This highlights LLMs' potential in modeling complex social interactions in competitive contexts. However, variability in LLM performance and occasional outperformance by simpler methods indicate opportunities for further advancements in LLM design and the value of our simulation environment for ongoing testing and refinement.

研究动机与目标

• 评估 LLM 代理是否能在动态、竞争性环境中展现出战略推理与自适应行为。
• 设计一个可控且可量化的仿真环境，以实现对 LLM 代理能力的细粒度评估。
• 研究提示工程与对过往拍卖策略的观察如何提升 LLM 代理在长期规划与资源管理中的表现。
• 在多轮拍卖场景中，将 LLM 代理与启发式基线及人类代理进行比较。

提出的方法

• AucArena 是一个模拟的开放式增价拍卖环境，所有竞标者具有固定预算并享有同等信息。
• LLM 代理采用四步架构：规划、出价、信念更新与重新规划，全部通过结构化提示实现。
• 代理利用 LLM 生成基于实时拍卖状态、对手追踪及长期目标对齐的出价。
• 战略提示包括明确指令，要求观察过往行为、适应竞争环境，并逐步管理预算。
• 通过总利润和出价效率等定量指标衡量性能。
• 该环境支持使用多种 LLM（如 GPT-4、Claude-2、PaLM-2）和人类参与者进行受控实验。

实验结果

研究问题

• RQ1 LLM 代理在预算有限的动态多轮拍卖中，能否有效规划并自适应调整其出价策略？
• RQ2 观察过往拍卖行为在多大程度上能提升 LLM 代理的战略表现？
• RQ3 LLM 代理在长期拍卖竞争中，相较于启发式基线和人类代理，其表现如何？
• RQ4 自适应规划在应对竞争性强、不可预测环境时，对实现更优结果起到何种作用？
• RQ5 LLM 代理能否发现人类此前未知的新颖或高效的出价策略？

主要发现

• 在接收到战略提示后，LLM 代理展现出有效的预算管理、长期目标遵循以及自适应出价行为。
• 明确鼓励其观察并适应过往拍卖策略，显著提升了 LLM 代理的性能。
• 即使是最先进的 LLM GPT-4，在长期战略对齐方面，有时也表现不如简单的启发式基线和人类代理。
• 不同 LLM 之间的性能差异显著，表明尽管使用相似提示，其战略推理能力仍存在巨大差异。
• 仿真揭示了多智能体场景中的策略分化现象，不同代理根据竞争态势与价值评估采用截然不同的策略。
• AucArena 有助于发现新的战略动态，例如精准把握出价时机以实现最大影响，以及通过小幅递增出价高效赢得标的。