[论文解读] Understanding the Effects of Miscalibrated AI Confidence on User Trust, Reliance, and Decision Efficacy

Jingshu Li, Yitian Yang+5 more|arXiv (Cornell University)|Feb 12, 2024

Anomaly Detection Techniques and Applications被引用 8

一句话总结

该研究实验证明，错误校准的AI自信会通过增加误用或疏离来损害人机协作，并且信任校准信息可以帮助人们识别AI自信偏差，但也可能助长不信任。

ABSTRACT

Providing well-calibrated AI confidence can help promote users' appropriate trust in and reliance on AI, which are essential for AI-assisted decision-making. However, calibrating AI confidence -- providing confidence score that accurately reflects the true likelihood of AI being correct -- is known to be challenging. To understand the effects of AI confidence miscalibration, we conducted our first experiment. The results indicate that miscalibrated AI confidence impairs users' appropriate reliance and reduces AI-assisted decision-making efficacy, and AI miscalibration is difficult for users to detect. Then, in our second experiment, we examined whether communicating AI confidence calibration levels could mitigate the above issues. We find that it helps users to detect AI miscalibration. Nevertheless, since such communication decreases users' trust in uncalibrated AI, leading to high under-reliance, it does not improve the decision efficacy. We discuss design implications based on these findings and future directions to address risks and ethical concerns associated with AI miscalibration.

研究动机与目标

• 研究AI过度自信和缺乏自信如何影响人类对AI信任、对AI建议的接受程度，以及协作结果。
• 考察向用户告知AI自信及提供性能反馈是否能提高对自信不一致的识别。
• 评估在不同AI自信水平下，信任校准干预对人机协作效率的影响。

提出的方法

• 进行一个2×3因子在线实验，AI自信水平包括：不自信、具自信、过度自信，并配对有无信任校准支持。
• 使用一个城市街景照片定位任务，参与者先做出决定，然后查看带有自信信息的AI建议并做出最终决定。
• 以疏离、滥用、切换率和准确性变化等作为协作效率的指标，并测量信任态度。
• 仅向校准组提供关于AI自信和准确性反馈的基础培训。
• 使用ANOVA和中介分析来将自信不一致、互信、疏离和准确性变化联系起来进行分析。

实验结果

研究问题

• RQ1 AI过度自信和AI欠自信如何影响人类对AI自信、AI预测以及AI整体能力的信任？
• RQ2 信任校准支持是否帮助人们感知AI自信的不对齐并相应调整信任？
• RQ3 错误校准的AI自信如何影响误用、疏离、切换行为以及整体协作效率？
• RQ4 对AI自信的感知是否中介自信不对齐与协作结果之间的关系？

主要发现

• 在没有信任校准的情况下，参与者往往错误感知AI自信，导致在AI过度自信或欠自信的情况下出现较高的误用或疏离。
• 在没有校准的情况下，过度自信的AI会增加误用和切换率，并使最终准确性变化相对于有自信的AI下降。
• 在没有校准的情况下，缺乏自信的AI增加疏离并降低切换率和最终准确性变化，相对于有自信的AI。
• 有信任校准时，参与者可以更好地感知AI自信偏差，但对AI预测的不信任可能上升，疏离仍可能增加，从而降低协作效率。
• 对AI自信和AI预测的信任态度呈线性关系，不信任在自信不对齐对疏离和准确性结果的影响中起中介作用。
• 中介分析显示，在不同分组中，误用/疏离完全中介AI自信不对齐对切换率和最终准确性的影响。