[论文解读] Question-Driven Design Process for Explainable AI User Experiences

Q. Vera Liao, Milena Pribic+3 more|arXiv (Cornell University)|Apr 8, 2021

Explainable Artificial Intelligence (XAI)参考文献 52被引用 19

一句话总结

本文提出了一种以问题为导向的可解释人工智能（XAI）用户体验设计流程，将用户体验设计建立在用户实际问题的基础上，弥合技术性XAI技术与现实世界用户需求之间的差距。通过将典型用户问题与代表性XAI技术相对应，该方法使设计师与AI工程师能够协作选择并实现适当的解释，从而提升用户理解、技术可行性与设计目标之间的一致性。

ABSTRACT

A pervasive design issue of AI systems is their explainability--how to provide appropriate information to help users understand the AI. The technical field of explainable AI (XAI) has produced a rich toolbox of techniques. Designers are now tasked with the challenges of how to select the most suitable XAI techniques and translate them into UX solutions. Informed by our previous work studying design challenges around XAI UX, this work proposes a design process to tackle these challenges. We review our and related prior work to identify requirements that the process should fulfill, and accordingly, propose a Question-Driven Design Process that grounds the user needs, choices of XAI techniques, design, and evaluation of XAI UX all in the user questions. We provide a mapping guide between prototypical user questions and exemplars of XAI techniques to reframe the technical space of XAI, also serving as boundary objects to support collaboration between designers and AI engineers. We demonstrate it with a use case of designing XAI for healthcare adverse events prediction, and discuss lessons learned for tackling design challenges of AI systems.

研究动机与目标

• 解决将技术性XAI技术转化为有效、以用户为中心的用户体验解决方案这一关键设计挑战。
• 通过基于真实用户问题而非技术能力来指导选择，支持设计师选择合适的XAI技术。
• 通过使用映射指南作为边界对象，促进设计师与AI工程师之间的共享理解，提升协作效率。
• 提供一种结构化、迭代式的设计流程，使XAI用户体验开发与用户需求、上下文及评估标准保持一致。
• 围绕以人为本的价值观与用户体验目标重构技术性XAI工具箱，超越以模型为中心的解释。

提出的方法

• 设计流程的核心在于识别并优先排序能够反映用户对AI决策理解需求的用户问题。
• 开发了一项映射指南，将典型用户问题（例如：'这个决定是为什么做出的？'）与特定XAI技术（例如：LIME、SHAP、反事实解释）相连接。
• 通过将用户体验决策锚定在用户问题上，支持迭代式的设计与评估，确保解释的相关性与可操作性。
• 设计师与AI工程师使用该映射指南作为共享参考，共同开发解决方案，使技术能力与用户期望保持一致。
• 通过两个真实世界用例（包括医疗不良事件预测）对流程进行测试与优化，验证其实际适用性。
• 利用用户研究结果定义初始的用户问题集合，确保设计始终扎根于真实用户的情境与价值观。

实验结果

研究问题

• RQ1 设计师如何有效选择与真实用户需求相匹配的XAI技术，而非仅基于技术能力？
• RQ2 用户问题在指导可解释人工智能用户体验设计中扮演何种角色？
• RQ3 设计师与AI工程师在开发XAI用户体验解决方案时，如何实现更高效的协作？
• RQ4 XAI技术如何被系统性地映射到用户问题上，以支持设计决策？
• RQ5 将XAI用户体验设计建立在用户问题基础上，如何提升AI系统的可用性与可信度？

主要发现

• 以问题为导向的设计流程通过将所有设计决策锚定在真实用户问题上，成功实现了XAI用户体验设计与用户需求的一致性。
• 用户问题与XAI技术之间的映射指南作为有效的边界对象，促进了设计师与AI工程师之间的共享理解。
• 该流程通过将XAI技术的可操作性围绕用户理解目标而非技术特性来构建，实现了对XAI技术的设计师式理解。
• 该方法通过基于用户问题建立的共享评估标准，支持设计与技术解决方案的迭代优化。
• 该方法通过两个用例得到验证，证明其在医疗AI等复杂领域中的实际效用。
• 研究指出，当前的XAI工具箱往往与最终用户需求脱节，而本方法有助于将其重新聚焦于以人为本的价值观。