[论文解读] Understanding Consumer Preferences for Explanations Generated by XAI Algorithms

Yanou Ramon, Tom Vermeire+3 more|arXiv (Cornell University)|Jul 6, 2021

Explainable Artificial Intelligence (XAI)参考文献 64被引用 7

一句话总结

本研究通过选择基础联合分析（choice-based conjoint analysis）在在线广告和贷款申请两个情境中，调查了消费者对可解释人工智能（XAI）算法生成解释的偏好。研究发现，仅在负面结果后，反事实解释才更受青睐；用户能够容忍中等复杂度的解释；对具体性的偏好取决于认知风格和决策抽象层次——这挑战了反事实解释具有普适吸引力的假设。

ABSTRACT

Explaining firm decisions made by algorithms in customer-facing applications is increasingly required by regulators and expected by customers. While the emerging field of Explainable Artificial Intelligence (XAI) has mainly focused on developing algorithms that generate such explanations, there has not yet been sufficient consideration of customers' preferences for various types and formats of explanations. We discuss theoretically and study empirically people's preferences for explanations of algorithmic decisions. We focus on three main attributes that describe automatically-generated explanations from existing XAI algorithms (format, complexity, and specificity), and capture differences across contexts (online targeted advertising vs. loan applications) as well as heterogeneity in users' cognitive styles. Despite their popularity among academics, we find that counterfactual explanations are not popular among users, unless they follow a negative outcome (e.g., loan application was denied). We also find that users are willing to tolerate some complexity in explanations. Finally, our results suggest that preferences for specific (vs. more abstract) explanations are related to the level at which the decision is construed by the user, and to the deliberateness of the user's cognitive style.

研究动机与目标

• 理解消费者在真实世界决策情境中对不同类型算法解释的偏好。
• 考察解释格式、复杂度和具体性对用户偏好的影响。
• 探究情境（如高风险与低风险决策）和个体差异（如认知风格）如何塑造对XAI解释的偏好。
• 实证检验XAI研究中关于哪种解释类型最有效或最受欢迎的假设。

提出的方法

• 在研究1（广告）中使用选择基础联合分析（CBC）进行2,592次成对比较，在研究2（贷款申请）中进行5,760次成对比较。
• 操纵了三个关键属性：解释格式（反事实 vs. 特征重要性）、复杂度（低 vs. 中等）和特征具体性（低层次 vs. 高层次特征）。
• 采用分层贝叶斯（Hierarchical Bayes, HB）建模并使用马尔可夫链蒙特卡洛（Markov Chain Monte Carlo, MCMC）估计方法，以估计部分效用值并考虑个体异质性。
• 使用认知反射测试（Cognitive Reflection Test, CRT）得分衡量思维的审慎性，从而分析认知风格如何调节解释偏好。
• 对分类属性应用效应编码，模型系数的先验分布设定为非信息性正态分布，使用默认方差和自由度。
• 模型使用20,000次MCMC抽样，保留最后5,000次用于推断，可信区间基于收敛抽样结果计算。

实验结果

研究问题

• RQ1 用户对解释格式（反事实 vs. 特征重要性）的偏好在不同决策情境中如何变化？
• RQ2 解释复杂度在多大程度上影响用户偏好，是否存在可容忍的阈值？
• RQ3 解释中特征具体性（低层次 vs. 高层次）如何影响用户偏好，且这种影响是否依赖于决策情境？
• RQ4 个体认知风格（通过CRT测量）如何调节对解释属性的偏好？
• RQ5 决策抽象层次（如具体 vs. 抽象）是否在具体性与偏好之间起中介作用？

主要发现

• 总体而言，反事实解释并不受青睐，但在高风险、负面结果的情境中（如贷款被拒），其偏好显著上升，成为最受重视的解释格式。
• 用户表现出对中等复杂度解释的容忍意愿：在贷款申请情境中，中等复杂度解释的部分效用值高于低复杂度解释。
• 在高风险、负面决策中，高层次特征具体性（如“体育”而非“访问过ESPN.com”）受到强烈偏好，其部分效用值为0.661（95%可信区间：[0.517, 0.821]），表明对抽象、高层次特征存在显著偏好。
• 相反，在低风险情境中，低层次具体性（如具体网站）更受青睐，其在定向广告中的部分效用值为0.499（95%可信区间：[0.375, 0.654]）。
• 认知风格（通过CRT得分衡量）调节了对具体性的偏好：思维更审慎的个体在高风险情境中更偏好高层次、抽象的解释。
• 对具体性的偏好并非一致；其显著受用户对决策的抽象化程度影响——以更抽象方式看待决策的用户偏好抽象解释，而以具体方式看待决策的用户则偏好具体解释。