[论文解读] On the Critical Role of Conventions in Adaptive Human-AI Collaboration

Andy Shih, Arjun Sawhney+3 more|arXiv (Cornell University)|Apr 7, 2021

Reinforcement Learning in Robotics参考文献 29被引用 33

一句话总结

该论文提出一个学习框架，将依赖约定的表征与依赖规则的表征分离，以实现对新伙伴的快速适应和在新任务上的零-shot 协作，在带上下文的多臂赌博问题、方块放置、Hanabi，以及一项人类研究中得到验证。

ABSTRACT

Humans can quickly adapt to new partners in collaborative tasks (e.g. playing basketball), because they understand which fundamental skills of the task (e.g. how to dribble, how to shoot) carry over across new partners. Humans can also quickly adapt to similar tasks with the same partners by carrying over conventions that they have developed (e.g. raising hand signals pass the ball), without learning to coordinate from scratch. To collaborate seamlessly with humans, AI agents should adapt quickly to new partners and new tasks as well. However, current approaches have not attempted to distinguish between the complexities intrinsic to a task and the conventions used by a partner, and more generally there has been little focus on leveraging conventions for adapting to new settings. In this work, we propose a learning framework that teases apart rule-dependent representation from convention-dependent representation in a principled way. We show that, under some assumptions, our rule-dependent representation is a sufficient statistic of the distribution over best-response strategies across partners. Using this separation of representations, our agents are able to adapt quickly to new partners, and to coordinate with old partners on new tasks in a zero-shot manner. We experimentally validate our approach on three collaborative tasks varying in complexity: a contextual multi-armed bandit, a block placing task, and the card game Hanabi.

研究动机与目标

• 通过利用约定来使 AI 能够快速适应新的人工伙伴的需求进行动机阐述。
• 提出一个表示学习框架，将依赖约定的部分与依赖规则的部分解耦。
• 证明规则表示可以是跨伙伴的最佳反应分布的充分统计量。
• 通过模块化策略设计，展示对新伙伴的快速适应和对新任务的零-shot 协作。
• 用三个协作任务及一次人类对人类的研究来验证该方法。

提出的方法

• 定义一个带共享回报的两人MDP，并对任务分布和伙伴分布进行建模。
• 引入一个模块化策略结构，包含任务模块 gt 和每个伙伴的模块 gpi，它们相乘形成自我智能体的策略。
• 用 Wasserstein 距离项 D(s) 对学习进行正则化，促使 gt 向在伙伴分布下的边际最佳反应靠拢。
• 非正式地证明 gt 能近似确定性自我智能体的最佳反应策略分布的充分统计量。
• 在同一任务上与多位伙伴一起训练，以分离地学习任务和伙伴表示。
• 在带上下文的赌博、方块放置和 Hanabi 的新任务上评估对新伙伴的适应和零-shot 协作；并包含一项人类对人类研究以研究约定转移。

实验结果

研究问题

• RQ1 边际（任务驱动的）策略表示是否可以作为跨伙伴的最佳反应分布的充分统计量？
• RQ2 将约定与规则表示分离是否支持对同一任务的新伙伴的更快适应？
• RQ3 在具有相同或相似对称性的任务上，伴随伙伴学习的约定能否实现零-shot 协作？
• RQ4 人类伙伴在跨任务时如何携带约定，且在何种条件下？
• RQ5 具有正则化的模块化结构在适应场景中是否优于基线？

主要发现

• 一个将任务（无约定）和伙伴（特定约定）表示分离的模块化结构能够提升对新伙伴的适应。
• 对任务模块进行正则化以对齐边际最佳反应策略，可降低与守护分布的距离并提升在新任务上的零-shot 协作。
• 在带上下文的赌博、方块放置和 Hanabi 的变体上的实验显示，相较基线与 First-Order MAML，适应性有所提升。
• 一项人类研究表明人类在具有相似对称性的任务间携带约定，支持所提出的表示分离。
• 该方法能够在不重新学习所有任务特定细节的情况下，与旧伙伴在新任务上实现协作。