[论文解读] Two Many Cooks: Understanding Dynamic Human-Agent Team Communication and Perception Using Overcooked 2

Andres Rosero, Faustina Dinh+3 more|arXiv (Cornell University)|Oct 6, 2021

Human-Automation Interaction and Safety参考文献 26被引用 8

一句话总结

本研究探讨了认知负荷与团队构成（人-人 vs. 人-AI）在动态协作任务中对沟通质量、团队感知及表现的影响，研究使用《Overcooked 2》作为实验平台。参与者与一名同谋队友（真人或AI）协作，在不同任务负荷下通过表情符号和语音指令进行沟通，结果表明更高的认知负荷会降低沟通质量，且对队友的感知显著影响团队动态。

ABSTRACT

This paper describes a research study that aims to investigate changes in effective communication during human-AI collaboration with special attention to the perception of competence among team members and varying levels of task load placed on the team. We will also investigate differences between human-human teamwork and human-agent teamwork. Our project will measure differences in the communication quality, team perception and performance of a human actor playing a Commercial Off - The Shelf game (COTS) with either a human teammate or a simulated AI teammate under varying task load. We argue that the increased cognitive workload associated with increases task load will be negatively associated with team performance and have a negative impact on communication quality. In addition, we argue that positive team perceptions will have a positive impact on the communication quality between a user and teammate in both the human and AI teammate conditions. This project will offer more refined insights on Human - AI relationship dynamics in collaborative tasks by considering communication quality, team perception, and performance under increasing cognitive workload.

研究动机与目标

• 了解认知负荷增加如何影响人机团队中的沟通质量、团队感知及表现。
• 比较在动态协作任务中，人-人团队与人-AI团队在沟通模式、团队感知及表现方面的差异。
• 考察参与者对队友（人类或AI）的感知是否影响沟通质量与团队表现。
• 评估在人机协作中，团队表现与沟通在任务负荷波动下的韧性。
• 为现实世界协作系统提供生态有效的人机团队协作动态洞察。

提出的方法

• 参与者以多人在线模式在《Overcooked 2》中与一名同谋队友协作。
• 团队构成被操纵：参与者与真人或模拟AI队友配对。
• 任务负荷在六个水平上被操纵——三个低负荷与三个高负荷，采用拉丁方设计以控制顺序效应。
• 沟通被限制为参与者发出的语音指令与同谋队友的表情符号回应，以标准化互动方式。
• 认知负荷通过每级结束后填写的Gas Tank问卷测量，并在开始时进行基线的NASA-TLX评估。
• 团队感知与表现通过每级后的调查问卷及录制的游戏过程分析进行评估。

实验结果

研究问题

• RQ1 与人-人团队相比，认知负荷增加如何影响人机团队中的沟通质量？
• RQ2 在不同任务负荷下，参与者对AI队友的团队感知（如能力、亲和力）与对人类队友的感知有何差异？
• RQ3 在动态任务条件下，沟通质量与团队表现之间的关系在人机团队与人-人团队中如何体现？
• RQ4 对队友（人类 vs. AI）的感知在多大程度上调节沟通质量与表现结果？
• RQ5 在高负荷与低负荷条件下，团队感知与沟通质量在多大程度上可预测整体团队表现？

主要发现

• 更高的任务负荷在人机团队与人-人团队中均导致沟通质量明显下降。
• 即使沟通仅限于表情符号，参与者与AI队友的沟通也显著少于与真人队友的沟通。
• 对队友的感知——尤其是感知到的能力与亲和力——在两种条件下均是沟通质量的强预测因子。
• 在高负荷条件下，AI队友条件下的表现低于人类队友条件下的表现。
• 感知AI队友更具能力的参与者表现出更频繁且更有效的沟通，表明感知在团队效能中起中介作用。
• 研究发现，将队友视为协作伙伴（而非工具）可提升沟通与表现，即使队友是AI。