[论文解读] Understanding the Role of Human Intuition on Reliance in Human-AI Decision-Making with Explanations

Valerie Chen, Q. Vera Liao+2 more|arXiv (Cornell University)|Jan 18, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本研究探讨了人类直觉如何影响对带有解释的AI预测的依赖，识别出三种由直觉驱动的路径——对结果的直觉、对特征的直觉以及对AI局限性的直觉——这些路径引导决策者在AI出现错误时进行干预。研究发现，基于示例的解释优于基于特征的解释，因其能保持自然的直觉，提升对AI不可靠性的识别能力，从而改善人机协作并减少过度依赖。

ABSTRACT

AI explanations are often mentioned as a way to improve human-AI decision-making, but empirical studies have not found consistent evidence of explanations' effectiveness and, on the contrary, suggest that they can increase overreliance when the AI system is wrong. While many factors may affect reliance on AI support, one important factor is how decision-makers reconcile their own intuition -- beliefs or heuristics, based on prior knowledge, experience, or pattern recognition, used to make judgments -- with the information provided by the AI system to determine when to override AI predictions. We conduct a think-aloud, mixed-methods study with two explanation types (feature- and example-based) for two prediction tasks to explore how decision-makers' intuition affects their use of AI predictions and explanations, and ultimately their choice of when to rely on AI. Our results identify three types of intuition involved in reasoning about AI predictions and explanations: intuition about the task outcome, features, and AI limitations. Building on these, we summarize three observed pathways for decision-makers to apply their own intuition and override AI predictions. We use these pathways to explain why (1) the feature-based explanations we used did not improve participants' decision outcomes and increased their overreliance on AI, and (2) the example-based explanations we used improved decision-makers' performance over feature-based explanations and helped achieve complementary human-AI performance. Overall, our work identifies directions for further development of AI decision-support systems and explanation methods that help decision-makers effectively apply their intuition to achieve appropriate reliance on AI.

研究动机与目标

• 理解人类直觉如何与AI解释在人机决策中相互作用。
• 探究为何基于特征的解释往往导致对错误AI预测的过度依赖。
• 探讨不同解释类型（基于特征和基于示例）如何影响决策者在AI出错时进行干预的能力。
• 识别支持对AI适当依赖的直觉推理路径。
• 为设计更能契合人类直觉并减少过度依赖的AI决策支持系统提供依据。

提出的方法

• 在两个低风险决策任务（表格型和文本型）中，对26名参与者开展了一项思考 aloud 的混合方法研究。
• 采用两种解释类型：基于特征的解释（特征权重）和基于示例的解释（带有标签的相似历史案例）。
• 收集口头表达的思维过程，以分析参与者如何调和直觉与AI预测及解释之间的关系。
• 对思考 aloud 的转录文本进行主题分析，以识别反复出现的由直觉驱动的推理路径。
• 比较基于特征和基于示例的解释条件下决策结果与依赖行为的差异。
• 通过定量分析评估表现与过度依赖程度，同时通过定性分析揭示认知路径。

(a) Feature-based explanation for income prediction.

实验结果

研究问题

• RQ1 在人机决策过程中，决策者如何调和自身直觉与AI预测及解释之间的关系？
• RQ2 哪些类型的直觉——对结果的直觉、对特征的直觉，或对AI局限性的直觉——引导决策者在AI预测错误时进行干预？
• RQ3 为何基于特征的解释往往导致对错误AI预测的过度依赖？
• RQ4 基于示例的解释如何比基于特征的解释更有效地支持对AI的适当依赖？
• RQ5 哪些认知路径能够促进人机决策中的有效协作？

主要发现

• 识别出三条截然不同的直觉驱动路径：强烈的结果直觉、基于特征的直觉，以及通过预测不可靠性信号识别AI局限性。
• 基于特征的解释破坏了参与者对结果的直觉，并与他们的基于特征的直觉产生冲突，从而增加了对错误AI预测的过度依赖。
• 基于示例的解释保持了自然的结果直觉，支持对特征的归纳推理，并提供了更清晰的预测不可靠性信号，从而减少了过度依赖。
• 使用基于示例解释的参与者取得了更优的决策结果，并展现出比使用基于特征解释的参与者更优的互补性人机协作表现。
• 本研究发现，解释的有效性并非仅由解释类型本身决定，而取决于其与人类直觉和认知过程的契合程度。
• 思考 aloud 数据显示，参与者通常依赖整体性、基于经验的推理，而非对特征权重的分析性解读，这削弱了基于特征解释的实用性。

(b) Example-based explanation for income prediction.