[论文解读] Strategic Behavior of Large Language Models: Game Structure vs. Contextual Framing

Nunzio Lorè, Babak Heydari|arXiv (Cornell University)|Sep 12, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本研究评估了 GPT-3.5、GPT-4 和 LLaMa-2 在四种双人社会困境游戏（囚徒困境、猎鹿博弈、雪地困境、囚徒之乐）中的战略决策行为，这些游戏在不同的情境框架（如外交、友好、商业）下进行。结果显示，尽管所有模型均受情境影响，但 LLaMa-2 在区分游戏结构方面表现出更优的战略推理能力，优于 GPT-4（其将游戏简单二元分类为“高”或“低”社会困境类别）和 GPT-3.5（其对情境高度敏感但缺乏抽象战略推理能力）。

ABSTRACT

This paper investigates the strategic decision-making capabilities of three Large Language Models (LLMs): GPT-3.5, GPT-4, and LLaMa-2, within the framework of game theory. Utilizing four canonical two-player games -- Prisoner's Dilemma, Stag Hunt, Snowdrift, and Prisoner's Delight -- we explore how these models navigate social dilemmas, situations where players can either cooperate for a collective benefit or defect for individual gain. Crucially, we extend our analysis to examine the role of contextual framing, such as diplomatic relations or casual friendships, in shaping the models' decisions. Our findings reveal a complex landscape: while GPT-3.5 is highly sensitive to contextual framing, it shows limited ability to engage in abstract strategic reasoning. Both GPT-4 and LLaMa-2 adjust their strategies based on game structure and context, but LLaMa-2 exhibits a more nuanced understanding of the games' underlying mechanics. These results highlight the current limitations and varied proficiencies of LLMs in strategic decision-making, cautioning against their unqualified use in tasks requiring complex strategic reasoning.

研究动机与目标

• 调查大型语言模型（LLMs）在涉及合作与背叛的典型双人游戏中的战略决策机制。
• 评估游戏结构与情境框架（如外交、商业或友好互动）对 LLM 决策的相对影响。
• 比较三种主流 LLM（GPT-3.5、GPT-4 和 LLaMa-2）的战略推理能力。
• 评估 LLM 是否具备抽象战略推理能力，还是主要对情境线索做出反应。
• 探讨这些发现对 LLM 在现实世界战略或社会决策场景中应用的启示。

提出的方法

• 通过四类典型双人游戏（囚徒困境、猎鹿博弈、雪地困境、囚徒之乐）进行博弈论模拟。
• 为每种游戏应用五种不同的情境框架（外交、商业、友好、随意、对抗），以评估情境效应。
• 收集并分析模型输出，以确定其战略选择（合作或背叛）及其背后的推理过程。
• 通过推理轨迹的定性分析，评估战略理解的深度，包括对最优回应策略的识别能力。
• 比较模型在不同类型游戏与情境下的行为表现，以评估其对结构性游戏特征与情境线索的敏感度。
• 采用轶事性与模式化分析方法，对推理链进行分析，以推断其底层决策机制，如对收益最大化的依赖或对情境驱动规范的响应。

Figure 1 : A schematic explanation of our data collecting process. A combination of a contextual prompt and a game prompt is fed into one of the LLM we examine in this paper, namely GPT-3.5, GPT-4, and LLaMa-2. Each combination creates a unique scenario, and for each scenario we collect 300 initiali

实验结果

研究问题

• RQ1 GPT-3.5、GPT-4 和 LLaMa-2 在四种典型双人游戏中的战略选择有何差异？
• RQ2 情境框架（如友谊或商业关系）在多大程度上影响 LLM 的战略决策？
• RQ3 LLMs 对猎鹿博弈与雪地困境等不同类型游戏之间的结构性差异识别与推理能力如何？
• RQ4 GPT-4 对游戏结构的优先考虑是否带来更细致的战略推理，还是其仅依赖于对游戏的二元分类？
• RQ5 LLaMa-2 在区分游戏结构方面表现更优，这是否可归因于其对战略激励更精细的理解？

主要发现

• GPT-3.5 对情境框架高度敏感，但其抽象战略推理能力有限，常无法识别最优回应策略。
• GPT-4 更重视游戏结构而非情境，但其将游戏简单划分为“高”或“低”社会困境类别，缺乏对不同类型游戏的细致区分。
• LLaMa-2 对游戏结构的理解比 GPT-4 更为精细，尽管其更强调情境因素的影响。
• 在囚徒之乐等游戏中，当推理正确时，LLaMa-2 会持续推理出个体与社会最优选择（合作），尽管偶尔会出现基本数学错误。
• GPT-4 常常将非囚徒困境游戏误认为是囚徒困境的变体，表明其缺乏对游戏结构的辨别能力。
• 情境框架显著影响决策，尤其在友好或协作情境中，即使在结构上非合作的游戏也可能引发合作回应，表明其易受框架操纵的影响。

(a) Results grouped game, GPT-3.5