[论文解读] PECAN: Leveraging Policy Ensemble for Context-Aware Zero-Shot Human-AI Coordination

Xingzhou Lou, Jiaxian Guo+4 more|arXiv (Cornell University)|Jan 16, 2023

Ethics and Social Impacts of AI被引用 5

一句话总结

PECAN 提出了一种策略集成与上下文感知的方法，通过提升伙伴多样性并根据伙伴技能水平实现自适应行为，从而增强零样本人类-AI 协作。它在 Overcooked 环境中实现了最先进性能，在代理模型和真实人类评估中均优于基线方法，其核心在于学习基于技能水平的最佳响应策略，而非针对特定伙伴的策略。

ABSTRACT

Zero-shot human-AI coordination holds the promise of collaborating with humans without human data. Prevailing methods try to train the ego agent with a population of partners via self-play. However, these methods suffer from two problems: 1) The diversity of a population with finite partners is limited, thereby limiting the capacity of the trained ego agent to collaborate with a novel human; 2) Current methods only provide a common best response for every partner in the population, which may result in poor zero-shot coordination performance with a novel partner or humans. To address these issues, we first propose the policy ensemble method to increase the diversity of partners in the population, and then develop a context-aware method enabling the ego agent to analyze and identify the partner's potential policy primitives so that it can take different actions accordingly. In this way, the ego agent is able to learn more universal cooperative behaviors for collaborating with diverse partners. We conduct experiments on the Overcooked environment, and evaluate the zero-shot human-AI coordination performance of our method with both behavior-cloned human proxies and real humans. The results demonstrate that our method significantly increases the diversity of partners and enables ego agents to learn more diverse behaviors than baselines, thus achieving state-of-the-art performance in all scenarios. We also open-source a human-AI coordination study framework on the Overcooked for the convenience of future studies.

研究动机与目标

• 解决基于群体的训练在零样本人类-AI 协作中行为多样性有限的问题。
• 克服常见最佳响应策略无法适应新人类伙伴的局限性。
• 使自方智能体能够通过识别伙伴技能水平，学习通用的、上下文感知的协作策略。
• 在训练过程中无需人类数据的情况下，提升人类-AI 协作的泛化能力与适应能力。
• 为未来的人类-AI 协作研究提供可扩展、可控制且开源的框架。

提出的方法

• 策略集成方法通过从群体中对策略基元取加权平均来生成多样化的伙伴智能体，每轮迭代使用随机权重以在不增加群体规模的前提下提升多样性。
• 上下文感知模块可识别每个伙伴的技能水平（高/低），使自方智能体能够学习基于技能水平的最佳响应策略，而非针对特定伙伴的策略。
• 自方智能体采用两阶段训练过程：首先，通过策略集成生成多样化的人工智能伙伴群体；其次，利用该多样化群体训练自方智能体的上下文感知策略。
• 基于技能水平对策略基元进行分组，确保集成伙伴保持可控且明确的行为层级，从而提升多样性与训练稳定性。
• 该方法使用 t-SNE 可视化验证：基于技能水平的策略集成相比未分组的集成，能产生更分散且可控的动作分布。
• 该框架已与 PantheonRL 集成，支持动态训练，并可支持真实参与者的人机协作研究。

实验结果

研究问题

• RQ1 策略集成是否能在不增加群体规模的前提下，提升零样本人类-AI 协作中的伙伴多样性？
• RQ2 上下文感知的技能水平识别是否能提升自方智能体对新人类伙伴的泛化能力？
• RQ3 在零样本设置下，基于技能水平的最佳响应是否优于针对特定伙伴的最佳响应，从而带来更优的协作性能？
• RQ4 PECAN 在代理模型与真实人类评估中，相较于最先进方法表现如何？
• RQ5 通过上下文感知的策略自适应，自方智能体是否能学习到更具适应性与通用性的行为？

主要发现

• PECAN 显著提升了伙伴多样性，t-SNE 可视化结果证实其动作分布更分散且可控，相比未分组的集成更具优势。
• 通过每轮迭代使用随机权重，策略集成方法在不增加计算成本的前提下，实现了每轮生成不同伙伴，显著提升了行为多样性。
• 在与人类代理模型的零样本协作中，PECAN 显著优于所有基线方法，平均成功完成 12.25 道菜品，而 MEP 基线仅为 6.75 道。
• 在真实人类实验中，PECAN 达到了更高的平均表现，并获得 15 名人类参与者显著更高的适应性评分，优于 MEP。
• 案例研究显示，PECAN 智能体能自适应地绕过障碍物并均衡使用两个锅具，而 MEP 智能体则表现出非自适应、次优行为，如过度依赖单一锅具。
• 该方法使自方智能体能够学习到更具通用性与适应性的协作策略，其在多个 Overcooked 场景布局中的优异表现已得到验证。