[论文解读] To Trust or Distrust Trust Measures: Validating Questionnaires for Trust in AI

Nicolas Scharowski, Sebastian A. C. Perrig+5 more|arXiv (Cornell University)|Mar 1, 2024

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本研究在 AI 情境下验证了两份信任量表（TPA 和 TAI），结果显示 TAI 具有良好的心理测量特性，而 TPA 受益于两因素的信任/不信任模型及条目改进。

ABSTRACT

Despite the importance of trust in human-AI interactions, researchers must adopt questionnaires from other disciplines that lack validation in the AI context. Motivated by the need for reliable and valid measures, we investigated the psychometric quality of two trust questionnaires, the Trust between People and Automation scale (TPA) by Jian et al. (2000) and the Trust Scale for the AI Context (TAI) by Hoffman et al. (2023). In a pre-registered online experiment (N = 1485), participants observed interactions with trustworthy and untrustworthy AI (autonomous vehicle and chatbot). Results support the psychometric quality of the TAI while revealing opportunities to improve the TPA, which we outline in our recommendations for using the two questionnaires. Furthermore, our findings provide additional empirical evidence of trust and distrust as two distinct constructs that may coexist independently. Building on our findings, we highlight the opportunities and added value of measuring both trust and distrust in human-AI research and advocate for further work on both constructs.

研究动机与目标

• 在 AI 场景下评估 Trust Between People and Automation (TPA) 量表的心理测量学品质。
• 在 AI 背景下评估 Trust Scale for the AI Context (TAI) 的心理测量学品质。
• 比较这两种量表并为 AI 研究提供使用建议。
• 研究在人机 AI 互动中，信任与不信任是否为不同的结构。

提出的方法

• 预注册的在线实验（N=1485），采用 2x2 混合设计，操纵应用类型（聊天机器人 vs 自动化车辆）和信任条件（值得信任 vs 不值得信任）。
• 参与者在每个情景后观看两个预先录制的 AI 互动并完成 TPA、TAI 及额外量表。
• 将原始 TPA 条目中的 'system' 替换为 'AI'，并将五个负向表述条目重新编码为不信任。
• TAI 由八个条目组成，其中一个为负向表述，适应于 AI 情境。
• 用验证性因子分析检验构念效度；对 TPA 进行探索性因子分析以检验稳健性。
• 使用 Cronbach's α 和 McDonald's ω 评估可靠性。

Figure 1: An illustration of the 2x2 online experiment stimuli by condition (trustworthy vs. untrustworthy) and application (chatbot vs. automated vehicle), constituting four scenarios in total.

实验结果

研究问题

• RQ1 在 AI 情境中，TPA 和 TAI 量表是否显示出可靠且有效的心理测量学特性？
• RQ2 TPA 是否最适合以两因素模型（信任与不信任）而非单因素来表示？
• RQ3 TAI 是否在 AI 环境中显示出强构念效度和可靠性？
• RQ4 在 AI 互动中，信任与不信任如何与情感（affect）与情境信任测量相关？

主要发现

• TAI 显示出强大的心理测量特性，并在很大程度上符合单因素信任模型。
• TPA 在单因素模型下拟合度不足，但两因素建模（信任与不信任）提高了解释性。
• 信任与不信任被揭示为彼此独立的构念，可以共存，且应在 AI 研究中分别测量。
• 研究建议同时使用信任和不信任测量，并强调在 AI 情境中验证改编的量表。
• 两个应用领域（高风险的 AV 与低风险的聊天机器人）以及信任与不信任的 AI 条件均被有效操控，支持操控有效性。