[论文解读] The Utility of Explainable AI in Ad Hoc Human-Machine Teaming

Rohan Paleja, Muyleng Ghuy+3 more|arXiv (Cornell University)|Sep 8, 2022

Human-Automation Interaction and SafetyPsychology被引用 19

一句话总结

本论文通过两项真人受试实验，研究了可解释人工智能（xAI）对临时人机协同的影响。研究发现，xAI能提升新手的情境意识和表现，但会因认知负担加重而降低专家的表现，表明xAI的效益高度依赖于团队构成，必须根据用户专业水平进行定制。

ABSTRACT

Recent advances in machine learning have led to growing interest in Explainable AI (xAI) to enable humans to gain insight into the decision-making of machine learning models. Despite this recent interest, the utility of xAI techniques has not yet been characterized in human-machine teaming. Importantly, xAI offers the promise of enhancing team situational awareness (SA) and shared mental model development, which are the key characteristics of effective human-machine teams. Rapidly developing such mental models is especially critical in ad hoc human-machine teaming, where agents do not have a priori knowledge of others' decision-making strategies. In this paper, we present two novel human-subject experiments quantifying the benefits of deploying xAI techniques within a human-machine teaming scenario. First, we show that xAI techniques can support SA ($p<0.05)$. Second, we examine how different SA levels induced via a collaborative AI policy abstraction affect ad hoc human-machine teaming performance. Importantly, we find that the benefits of xAI are not universal, as there is a strong dependence on the composition of the human-machine team. Novices benefit from xAI providing increased SA ($p<0.05$) but are susceptible to cognitive overhead ($p<0.05$). On the other hand, expert performance degrades with the addition of xAI-based support ($p<0.05$), indicating that the cost of paying attention to the xAI outweighs the benefits obtained from being provided additional information to enhance SA. Our results demonstrate that researchers must deliberately design and deploy the right xAI techniques in the right scenario by carefully considering human-machine team composition and how the xAI method augments SA.

研究动机与目标

• 量化可解释人工智能（xAI）在提升临时人机协同中情境意识（SA）和共享心智模型发展方面的效用。
• 考察不同xAI技术——具体为基于状态的解释与决策树解释——在人类不同专业水平下对团队表现的影响。
• 探究xAI支持是否普遍提升人机协同表现，或其有效性是否取决于人类的认知负荷与先前经验。
• 通过分析信息增益与认知负担之间的权衡，识别人机团队中xAI的设计原则。

提出的方法

• 在基于Minecraft的协作任务环境中开展两项受控真人受试实验，以模拟临时人机协同。
• 部署一台协作机器人（cobot），采用两种不同的xAI技术：一种是简单的基于状态的解释（例如，'正在处理任务X'），另一种是基于决策树的机器人策略解释。
• 在不同实验条件下，调整xAI支持的程度，包括部分解释（IV1）和完整解释（IV2）两种设置，以评估解释复杂度的影响。
• 测量客观性能指标（任务完成时间、成功率）、情境意识（SA）以及主观指标（信任度、感知能力、工作联盟）。
• 根据参与者对游戏的先前经验，将参与者划分为新手组与专家组，以分析基于专业水平的影响。
• 使用统计分析（p < 0.05）评估不同xAI条件与专业水平下性能与感知差异的显著性。

实验结果

研究问题

• RQ1 xAI技术的部署是否能提升临时人机协同中的情境意识（SA）？
• RQ2 人机团队的构成——特别是人类的专家水平——如何调节xAI支持的有效性？
• RQ3 不同类型的xAI解释（基于状态 vs. 决策树）是否对新手与专家产生不同的表现结果？
• RQ4 解释复杂度的提升（如完整决策树）是否因认知过载而造成表现下降，尤其是在专家中？
• RQ5 xAI在多大程度上影响人机团队中对信任度、能力感知与团队凝聚力的主观感受？

主要发现

• 基于xAI的支持显著提升了人类队友的情境意识（SA），p < 0.05，证实xAI增强了情境分析能力。
• 新手从基于状态的xAI支持中受益，表现更优（p < 0.05），而基于决策树的解释并未提升其表现，反而可能增加认知负担。
• 当提供xAI支持时，专家的表现下降（p < 0.05），表明处理解释所带来的认知成本超过了情境意识提升带来的收益。
• 专家认为经xAI增强的协作机器人更具可信度、智能性和能力，但这种感知并未转化为表现提升。
• 当专家获得完整xAI支持（IV2）时，表现进一步下降，相比部分支持（IV1），表明解释复杂度加剧了认知过载。
• 所有参与者，无论专业水平，均对xAI增强的协作机器人给予更高的信任度、感知能力和工作联盟评分，表明尽管存在表现权衡，xAI仍获得强烈积极感知。