[论文解读] Trust and Reliance in XAI -- Distinguishing Between Attitudinal and Behavioral Measures

Nicolas Scharowski, Sebastian A. C. Perrig+2 more|arXiv (Cornell University)|Mar 23, 2022

Personal Information Management and User BehaviorDecision Sciences被引用 17

一句话总结

本文在XAI研究中主张区分态度性信任与行为性依赖，论证将这两者混淆会导致透明度影响研究结果的不一致。通过提倡分别采用问卷调查测量信任、行为指标测量依赖，本文为提升测量严谨性、解决XAI评估中的模糊性提供了理论基础。

ABSTRACT

Trust is often cited as an essential criterion for the effective use and real-world deployment of AI. Researchers argue that AI should be more transparent to increase trust, making transparency one of the main goals of XAI. Nevertheless, empirical research on this topic is inconclusive regarding the effect of transparency on trust. An explanation for this ambiguity could be that trust is operationalized differently within XAI. In this position paper, we advocate for a clear distinction between behavioral (objective) measures of reliance and attitudinal (subjective) measures of trust. However, researchers sometimes appear to use behavioral measures when intending to capture trust, although attitudinal measures would be more appropriate. Based on past research, we emphasize that there are sound theoretical reasons to keep trust and reliance separate. Properly distinguishing these two concepts provides a more comprehensive understanding of how transparency affects trust and reliance, benefiting future XAI research.

研究动机与目标

• 通过识别信任与依赖之间的概念混淆，解决XAI中透明度对信任影响的不一致实证发现。
• 论证信任（一种态度性、主观性构念）与依赖（一种行为性、客观性结果）在理论上是不同的，不应在操作化层面混淆。
• 指出使用行为指标（如依赖率）来评估信任——同时声称测量的是信任——会导致误解和错误结论。
• 通过倡导明确的操作定义和测量框架，推动XAI研究建立更严谨的科学基础。
• 鼓励未来研究同时测量信任与依赖，基于既有的人机交互理论模型。

提出的方法

• 提出一个理论框架，将信任作为心理态度与依赖作为可观察行为加以区分，其理论基础来自社会心理学与人机自动化交互理论。
• 回顾实证XAI研究（如Lai & Tan, 2019；Cheng et al., 2019），说明依赖常在操作化过程中被错误地标记为信任。
• 应用Ajzen和Fishbein（1980）的态度-行为关系模型，强调态度（如信任）并不能决定性地预测行为（如依赖）。
• 借鉴既有的信任与依赖模型（如Lee & See, 2004；Hoff & Bashir, 2015），以支持概念上的分离，并指导测量设计。
• 建议采用双维测量方法：使用经验证的量表测量信任，通过直接行为观察或任务绩效指标测量依赖。
• 呼吁开展系统性文献综述，以评估当前XAI研究中概念不一致的程度，并制定标准化的测量框架。

实验结果

研究问题

• RQ1 当前XAI研究在多大程度上混淆了信任与依赖？这种混淆带来了哪些后果？
• RQ2 为何将依赖的行为指标用作态度性信任的代理变量，在理论上和实证上都是有问题的？
• RQ3 如何通过明确区分信任与依赖来提升XAI评估研究的有效性与可重复性？
• RQ4 同时测量信任与依赖对理解透明度对人机交互影响有何意义？
• RQ5 未来XAI研究如何采用更严谨的测量框架，以区分主观态度与客观行为？

主要发现

• XAI中的实证研究经常将行为性依赖与态度性信任混淆，导致透明度影响的发现模糊且不一致。
• Lai与Tan（2019）将信任操作化为依赖率（行为指标），而Cheng等人（2019）则使用基于问卷的信任量表——这表明对同一构念采用了截然不同的测量方法。
• 信任与依赖之间没有决定性关联：个体可能表达高度信任但表现出低依赖，反之亦然，这可能受情境、认知或工作负荷等因素影响。
• 如Lee与See（2004）的信任-依赖框架所示，信任是依赖的必要条件但非充分条件，凸显了分别测量的必要性。
• 将依赖错误标记为信任会导致结果的误解，并削弱XAI评估的科学严谨性，尤其在比较研究中。
• 采用双维测量方法——即通过经验证量表测量信任，通过行为指标测量依赖——对于实现准确、理论基础扎实的XAI研究至关重要。