[论文解读] Trust Considerations for Explainable Robots: A Human Factors Perspective

Lindsay Sanneman, Julie Shah|arXiv (Cornell University)|May 12, 2020

Human-Automation Interaction and Safety参考文献 11被引用 11

一句话总结

本文通过识别信任的三个核心考量——信任基础、信任校准和信任特异性——将人因工程原则融入可解释机器人学，以设计人机协作团队。文章提出了基于机器人解释的评估信任指标，通过建立在实证人因工程研究基础上的透明、情境感知的解释，提升人类理解力与团队表现。

ABSTRACT

Recent advances in artificial intelligence (AI) and robotics have drawn attention to the need for AI systems and robots to be understandable to human users. The explainable AI (XAI) and explainable robots literature aims to enhance human understanding and human-robot team performance by providing users with necessary information about AI and robot behavior. Simultaneously, the human factors literature has long addressed important considerations that contribute to human performance, including human trust in autonomous systems. In this paper, drawing from the human factors literature, we discuss three important trust-related considerations for the design of explainable robot systems: the bases of trust, trust calibration, and trust specificity. We further detail existing and potential metrics for assessing trust in robotic systems based on explanations provided by explainable robots.

研究动机与目标

• 为应对现实人机协作场景中对不仅可解释且可信的机器人系统日益增长的需求。
• 识别影响自主机器人系统中信任的关键人因因素，尤其在可解释性语境下。
• 通过将信任建立在心理学与行为学原理基础上，弥合可解释人工智能（XAI）与人因工程研究之间的鸿沟。
• 提出基于解释质量与内容的实用指标，用于衡量机器人系统中的信任水平。
• 指导可解释机器人设计，以支持在动态协作环境中实现准确、可调适且情境相关的信任。

提出的方法

• 基于既有的人因工程文献，本文识别出信任的三个基础维度：信任基础（如能力、可靠性）、信任校准（信任与系统实际性能的匹配度）以及信任特异性（针对不同系统行为的情境依赖性信任）。
• 作者分析了现有及潜在的信任评估指标，包括行为、生理和自评测量方法，以评估机器人提供的解释对信任的影响。
• 该框架整合了人机交互与认知系统工程的洞见，确保解释具有意义、及时且与人类心智模型一致。
• 本文提出一种面向设计的框架，将解释内容与信任相关结果相映射，确保解释不仅信息丰富，而且在塑造信任方面具有功能性效果。
• 强调根据用户的认知负荷、任务情境和决策需求定制解释，以优化信任与绩效。
• 该方法通过回顾人机交互领域中现有实验研究，特别是协作情境下的研究，以实证证据为基础验证框架的合理性。

实验结果

研究问题

• RQ1 支撑人类对自主机器人系统信任的主要心理与行为基础是什么？
• RQ2 如何有效校准对机器人的信任，使用户的信心与机器人的实际可靠性及性能相匹配？
• RQ3 信任在不同任务或情境下如何变化？解释应如何定制以支持情境特定的信任？
• RQ4 可使用哪些指标客观评估解释对人类信任的影响？
• RQ5 如何设计可解释的机器人系统，以支持人机团队中准确、自适应且情境恰当的信任？

主要发现

• 人们对机器人的信任基础根植于感知到的能力、可靠性和可预测性，而解释在塑造这些感知中起关键作用。
• 信任校准至关重要：因误导性解释导致的过度信任可能引发系统故障，而信任不足则会降低系统使用率。
• 信任并非单一整体——其水平随任务情境而异，解释必须针对被解释的具体行为或决策进行定制，以支持适当的信任水平。
• 本文识别出一系列可评估解释在塑造信任方面有效性的指标，包括行为指标（如任务表现）、生理指标（如眼动追踪、心率）和自评指标（如信任量表）。
• 及时、相关且与用户心智模型一致的解释能显著提升信任校准与团队表现。
• 将人因工程原则整合到可解释机器人设计中，可带来更有效、更可靠且更以人为本的机器人系统。