[论文解读] Towards Involving End-users in Interactive Human-in-the-loop AI Fairness

Yuri Nakao, Simone Stumpf+3 more|arXiv (Cornell University)|Apr 22, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出了一种交互式、人机协同的AI公平性界面，使非技术背景的终端用户能够通过解释性调试识别并纠正贷款决策AI系统中的公平性问题。通过允许用户基于可解释性特征（如模型置信度和属性值）调整特征权重，该系统使终端用户能够提升公平性，其中文化维度——尤其是男性化、不确定性规避和放纵——显著影响公平性判断。

ABSTRACT

Ensuring fairness in artificial intelligence (AI) is important to counteract bias and discrimination in far-reaching applications. Recent work has started to investigate how humans judge fairness and how to support machine learning (ML) experts in making their AI models fairer. Drawing inspiration from an Explainable AI (XAI) approach called \emph{explanatory debugging} used in interactive machine learning, our work explores designing interpretable and interactive human-in-the-loop interfaces that allow ordinary end-users without any technical or domain background to identify potential fairness issues and possibly fix them in the context of loan decisions. Through workshops with end-users, we co-designed and implemented a prototype system that allowed end-users to see why predictions were made, and then to change weights on features to "debug" fairness issues. We evaluated the use of this prototype system through an online study. To investigate the implications of diverse human values about fairness around the globe, we also explored how cultural dimensions might play a role in using this prototype. Our results contribute to the design of interfaces to allow end-users to be involved in judging and addressing AI fairness through a human-in-the-loop approach.

研究动机与目标

• 设计一种交互式、可解释的人机协同界面，使非技术背景的终端用户能够评估并纠正AI驱动的贷款决策中的公平性问题。
• 研究缺乏技术或领域专业知识的终端用户如何通过模型解释来感知并采取行动应对AI系统中的公平性问题。
• 探讨文化维度在塑造终端用户对AI系统公平性判断和干预行为中的作用。
• 通过原型系统和在线研究，评估用户驱动的权重调整在提升模型公平性方面的有效性。

提出的方法

• 采用交互式机器学习中的解释性调试方法，引导终端用户识别并纠正与公平性相关的误判。
• 设计了一个原型系统，通过置信度分数、特征权重、决策边界和相似性度量可视化模型决策。
• 允许终端用户通过交互方式修改特征权重，以调整模型行为并测试公平性改进效果。
• 通过与终端用户共同设计的工作坊来指导界面设计，确保非专家用户也能轻松使用。
• 采用霍夫斯泰德文化维度框架分析跨文化背景下公平性感知和干预行为的差异。
• 开展在线研究，评估原型系统的可用性及其对公平性感知和调整的影响。

实验结果

研究问题

• RQ1 如何设计交互式人机协同界面，使无技术背景的终端用户能够识别并纠正AI系统中的公平性问题？
• RQ2 终端用户如何评估AI贷款决策中的公平性？哪些因素（如置信度、权重、属性值）会影响其判断？
• RQ3 男性化、不确定性规避和放纵等文化维度在多大程度上影响终端用户对公平性的评估和干预行为？

主要发现

• 终端用户通过分析模型置信度、特征权重和属性值，结合个体贷款申请的图形化对比，有效评估了公平性。
• 该原型使终端用户能够通过调整特征权重实现有意义的公平性改进，证明了用户驱动模型修正的可行性。
• 文化维度显著影响公平性感知，其中男性化、不确定性规避和放纵成为塑造用户行为与判断的关键因素。
• 当解释清晰呈现时，用户表现出对模型行为的理解，表明可解释性对于有效终端用户参与至关重要。
• 研究发现，终端用户基于感知到的正义感和风险来优先考虑公平性，而这种优先级在不同文化背景下存在差异，凸显了文化敏感型AI设计的必要性。
• 尽管存在实时反馈和模型重训练的局限，离线原型仍成功展示了人机协同公平性干预的潜力。