[论文解读] What Do End-Users Really Want? Investigation of Human-Centered XAI for Mobile Health Apps

Katharina Weitz, Alexander Zellner+1 more|arXiv (Cornell University)|Oct 7, 2022

Persona Design and Applications被引用 4

一句话总结

本文提出了一种以用户为中心的用户角色框架，以指导移动健康应用中以人为本的可解释人工智能（XAI）设计，其依据是针对压力监测应用中用户对解释风格和内容偏好的在线调查。主要贡献在于识别出三种典型用户角色——高级用户、普通用户和隐私导向用户，表明解释偏好显著受人口统计特征、人格特质和个性化需求的影响，而交互性和数据透明性则是用户接受度的关键因素。

ABSTRACT

In healthcare, AI systems support clinicians and patients in diagnosis, treatment, and monitoring, but many systems' poor explainability remains challenging for practical application. Overcoming this barrier is the goal of explainable AI (XAI). However, an explanation can be perceived differently and, thus, not solve the black-box problem for everyone. The domain of Human-Centered AI deals with this problem by adapting AI to users. We present a user-centered persona concept to evaluate XAI and use it to investigate end-users preferences for various explanation styles and contents in a mobile health stress monitoring application. The results of our online survey show that users' demographics and personality, as well as the type of explanation, impact explanation preferences, indicating that these are essential features for XAI design. We subsumed the results in three prototypical user personas: power-, casual-, and privacy-oriented users. Our insights bring an interactive, human-centered XAI closer to practical application.

研究动机与目标

• 解决研究人员主导的XAI与移动健康应用中终端用户需求之间的差距。
• 调查不同用户群体在人口统计特征、人格特质以及解释偏好方面如何随不同解释风格和内容类型而变化。
• 基于实证数据提出一种以用户为中心的用户角色概念，以指导实际的XAI设计。
• 评估个性化、交互性和解释内容对用户满意度和参与度的影响。
• 支持XAI从理论研究向实际、用户友好的医疗应用部署的转化。

提出的方法

• 通过在线调查收集终端用户在移动压力监测应用中对解释风格（如基于数据的、基于图片的、实时解释）和内容的偏好。
• 应用聚类分析与定性分析，基于人口统计、人格特质和偏好数据推导出典型用户角色。
• 使用XAI技术分类法——可视化、基于特征的、知识提取型以及基于示例的（如反事实）——来组织调查中的解释类型。
• 评估用户对解释满意度、互动意愿，以及对个性化和数据透明度的偏好。
• 设计并测试了包括“向应用提问”和“实时解释”在内的解释类型，以评估交互性的影响。
• 将用户反馈映射到三种不同角色：高级用户（追求详细、交互式解释）、普通用户（偏好直观、简洁的设计）和隐私导向用户（注重数据保护与最小化数据共享）。

实验结果

研究问题

• RQ1 终端用户的年龄、性别等人口统计特征以及人格特质如何影响其在移动健康应用中对XAI解释风格和内容的偏好？
• RQ2 哪些解释类型（如基于数据的、基于图片的、实时解释）最受欢迎，哪些因素驱动了用户的满意度和参与度？
• RQ3 XAI系统中的个性化与交互性在多大程度上影响了用户使用和信任系统的意愿？
• RQ4 用户在自我报告中对详细解释的期望，与他们在实际与解释互动时的行为之间存在怎样的差异？
• RQ5 基于用户角色的方法能否有效代表并指导多样化的终端用户群体在移动健康应用中的人本XAI设计？

主要发现

• 用户更偏好基于数据的解释而非基于图片的解释，表明在健康场景中用户更倾向于事实性、透明的信息。
• 尽管用户最初表达了对详细解释的偏好，但在实际使用中，过长的解释被视作干扰和令人困扰，尤其是当信息重复时。
• ‘向应用提问’和‘实时解释’类型获得最高认可度，表明用户强烈偏好具备交互性、动态特性的解释系统，支持参数调整和提问功能。
• 对解释内容的个性化显著提升了用户参与度，当解释内容与用户需求相匹配时，用户更愿意投入时间。
• 识别出三种截然不同的用户角色：高级用户（追求详细、交互式解释）、普通用户（偏好直观、简洁的设计）和隐私导向用户（优先考虑数据保护与最小化数据共享）。
• 当接收到压力预测时，用户频繁提出‘为什么？’‘为什么不？’和‘如何？’等问题，凸显了交互式、以问题为导向的解释系统在提升用户理解与信任方面的重要性。