[论文解读] Seamful XAI: Operationalizing Seamful Design in Explainable AI

Upol Ehsan, Q. Vera Liao+3 more|arXiv (Cornell University)|Nov 12, 2022

Explainable Artificial Intelligence (XAI)参考文献 74被引用 8

一句话总结

本文提出Seamful XAI，一种将缝隙设计（seamful design）应用于可解释人工智能（Explainable AI）的框架，通过战略性地揭示社会技术与基础设施层面的不匹配（如数据偏差或部署环境差距），以增强可解释性与用户自主权。通过与43名从业者及用户的共同设计过程，证明了主动识别并设计利用这些‘缝隙’，可减轻人工智能的危害，并支持负责任的AI部署。

ABSTRACT

Mistakes in AI systems are inevitable, arising from both technical limitations and sociotechnical gaps. While black-boxing AI systems can make the user experience seamless, hiding the seams risks disempowering users to mitigate fallouts from AI mistakes. Instead of hiding these AI imperfections, can we leverage them to help the user? While Explainable AI (XAI) has predominantly tackled algorithmic opaqueness, we propose that seamful design can foster AI explainability by revealing and leveraging sociotechnical and infrastructural mismatches. We introduce the concept of Seamful XAI by (1) conceptually transferring "seams" to the AI context and (2) developing a design process that helps stakeholders anticipate and design with seams. We explore this process with 43 AI practitioners and real end-users, using a scenario-based co-design activity informed by real-world use cases. We found that the Seamful XAI design process helped users foresee AI harms, identify underlying reasons (seams), locate them in the AI's lifecycle, learn how to leverage seamful information to improve XAI and user agency. We share empirical insights, implications, and reflections on how this process can help practitioners anticipate and craft seams in AI, how seamfulness can improve explainability, empower end-users, and facilitate Responsible AI.

研究动机与目标

• 解决无缝设计在AI中带来的局限性，即隐藏关键不匹配，导致系统故障时削弱用户自主权。
• 将AI中的‘缝隙’概念化为设计假设与现实部署环境之间的社会技术与基础设施不匹配。
• 开发一种实用的设计流程，帮助利益相关方预测、识别并战略性地揭示或隐藏缝隙，以提升可解释性。
• 探讨缝隙设计如何通过超越算法透明度，纳入组织、数据与集成现实，支持以人为本的XAI。
• 通过与43名AI从业者及终端用户的基于场景的共同设计进行框架验证，聚焦自动化贷款等真实应用场景。

提出的方法

• 将普适计算中的缝隙设计概念迁移至AI领域，重新定义‘缝隙’为AI开发假设与现实部署条件之间的不匹配。
• 开发四阶段设计流程：(1) 通过基于场景的创意构思识别缝隙，(2) 使用相关性与可操作性标准筛选缝隙，(3) 原型化缝隙解释，(4) 与利益相关方共同评估。
• 在真实应用场景（如自动化贷款、医疗诊断）中，与43名AI从业者及用户开展共同设计研究，使框架扎根于实践。
• 采用基于场景的设计方法，模拟故障场景，获取利益相关方关于缝隙信息如何提升决策与系统信任的洞察。
• 应用以人为本的XAI视角，整合算法、社会技术与基础设施维度的可解释性。
• 整合领域专家与从业者的反馈，以完善框架并确保其在多样化AI部署环境中的实际可行性。

实验结果

研究问题

• RQ1 在AI系统背景下，‘缝隙’的构成是什么，特别是超越算法不透明性之外的方面？
• RQ2 利益相关方如何系统性地识别并优先处理AI设计与部署中的社会技术与基础设施缝隙？
• RQ3 战略性地揭示或隐藏缝隙在多大程度上能提升AI系统的可解释性与用户自主权？
• RQ4 缝隙设计如何支持减轻下游AI危害，特别是在模型失效或部署不匹配的情况下？
• RQ5 在现实AI应用中主动设计缝隙的实际影响与局限性是什么？

主要发现

• AI中的缝隙不仅是技术缺陷，还包含社会技术不匹配，如训练数据偏差、监管约束或集成实践，这些都会影响系统性能与用户信任。
• 共同设计过程成功帮助利益相关方识别并优先处理了12类关键缝隙类型，涵盖真实AI应用场景中的数据分布漂移与政策-技术滞后等问题。
• 参与者表示，缝隙解释在AI故障期间（如贷款被拒）能提升决策质量，通过揭示地理数据偏差等特定上下文限制。
• 战略性地揭示缝隙（如智能办公室中的Wi-Fi信号强度或诊断工具中的模型置信度）即使不完美，也被认为比隐藏它们更有用。
• 该框架使用户能够更有效地预见并应对系统故障，尤其在因监管或技术限制无法实现实时模型更新的情况下。
• 研究表明，缝隙设计将‘未知的未知’转化为‘已知的未知’，从而实现主动缓解并提升系统韧性。