[论文解读] Online Learning in Iterated Prisoner's Dilemma to Mimic Human Behavior

Baihan Lin, Djallel Bouneffouf+1 more|arXiv (Cornell University)|Jun 9, 2020

Evolutionary Game Theory and Cooperation被引用 4

一句话总结

本文评估了在线学习算法——多臂赌博机、上下文赌博机和强化学习——在重复囚徒困境（IPD）中的表现，以评估其在社会困境中的表现及其模仿人类行为的能力。研究发现，上下文赌博机表现欠佳，原因是过度依赖当前情境；而简单赌博机最符合人类决策行为，表明人类在IPD中可能并未使用情境信息。

ABSTRACT

As an important psychological and social experiment, the Iterated Prisoner's Dilemma (IPD) treats the choice to cooperate or defect as an atomic action. We propose to study the behaviors of online learning algorithms in the Iterated Prisoner's Dilemma (IPD) game, where we investigate the full spectrum of reinforcement learning agents: multi-armed bandits, contextual bandits and reinforcement learning. We evaluate them based on a tournament of iterated prisoner's dilemma where multiple agents can compete in a sequential fashion. This allows us to analyze the dynamics of policies learned by multiple self-interested independent reward-driven agents, and also allows us study the capacity of these algorithms to fit the human behaviors. Results suggest that considering the current situation to make decision is the worst in this kind of social dilemma game. Multiples discoveries on online learning behaviors and clinical validations are stated, as an effort to connect artificial intelligence algorithms with human behaviors and their abnormal states in neuropsychiatric conditions.

研究动机与目标

• 研究在线学习智能体在重复囚徒困境（IPD）等社会困境游戏中的行为表现。
• 评估在IPD锦标赛中关注情境是否有助于提升奖励最大化。
• 评估不同在线学习算法是否能准确建模人类在重复社会互动中的行为模式。
• 通过行为建模探索人工智能学习机制与神经精神疾病之间的联系。
• 通过分析学习偏差如何反映人类及病理性决策行为，弥合人工智能与神经精神病学之间的鸿沟。

提出的方法

• 组织了包含多种智能体（成对、三智能体及‘心理’智能体变体）的IPD循环赛。
• 采用三类算法：多臂赌博机（无情境）、上下文赌博机（情境依赖）和强化学习（状态与转移依赖）。
• 使用行为克隆方法，基于人类决策数据训练算法，并检验其预测准确性。
• 采用以奖励为导向、自利的学习框架，使智能体在重复互动中优化累积收益。
• 在不同IPD设置下进行实证评估，以分析策略动态与学习行为。
• 使用开源代码与数据（可在GitHub上获取），确保所有结果可复现。

实验结果

研究问题

• RQ1 在线学习智能体在重复囚徒困境中关注当前情境是否能提升奖励最大化？
• RQ2 在社会困境中，不同在线学习架构——赌博机、上下文赌博机和强化学习——在性能与行为动态方面如何比较？
• RQ3 在线学习算法能否有效模仿人类在重复社会互动中的行为？
• RQ4 这些学习行为对理解涉及奖励处理与注意力偏差的神经精神疾病有何启示？
• RQ5 学习算法中不同的归纳偏差如何反映或预测异常的人类决策模式？

主要发现

• 上下文赌博机在IPD锦标赛中表现不佳，表明在社会困境游戏中仅关注当前状态是次优的。
• 无情境的多臂赌博机在最大化奖励方面表现最佳，表明忽略情境可能比部分情境意识更有效。
• 赌博机算法最符合实证人类行为数据，表明人类在玩IPD时可能并未使用情境信息。
• 研究结果挑战了‘情境意识决策在社会困境中为最优’的假设，表明对当前状态的过度关注可能具有破坏性。
• 模拟结果与ADHD、抑郁和成瘾等疾病中奖励处理缺陷的临床观察一致，支持该模型在神经精神病学研究中的相关性。
• 本研究为利用人工智能学习框架建模和理解人类决策机制及其功能障碍提供了基础。