[论文解读] Participatory Problem Formulation for Fairer Machine Learning Through Community Based System Dynamics

Donald Martin, Vinodkumar Prabhakaran+3 more|arXiv (Cornell University)|May 15, 2020

Ethics and Social Impacts of AI参考文献 25被引用 29

一句话总结

本文提出社区为基础的系统动力学（CBSD）方法，通过在问题定义阶段让边缘化利益相关者参与协作建模，以提升机器学习中的公平性。CBSD利用可视化系统动力学图表与仿真，使因果假设显性化，捕捉高风险领域中的反馈回路与时间延迟，并整合生活经验，从而减少机器学习系统设计中的偏见。

ABSTRACT

Recent research on algorithmic fairness has highlighted that the problem formulation phase of ML system development can be a key source of bias that has significant downstream impacts on ML system fairness outcomes. However, very little attention has been paid to methods for improving the fairness efficacy of this critical phase of ML system development. Current practice neither accounts for the dynamic complexity of high-stakes domains nor incorporates the perspectives of vulnerable stakeholders. In this paper we introduce community based system dynamics (CBSD) as an approach to enable the participation of typically excluded stakeholders in the problem formulation phase of the ML system development process and facilitate the deep problem understanding required to mitigate bias during this crucial stage.

研究动机与目标

• 解决机器学习问题定义阶段缺乏结构化、包容性方法的问题，该问题正是算法偏见的主要来源。
• 认识到当前的问题定义过程是随意的，依赖非多样化利益相关者不透明的因果推断，且未能考虑高风险领域中的动态复杂性。
• 通过在机器学习系统设计过程中将弱势群体的生活经验融入因果模型构建，减轻偏见。
• 开发一种正式、透明且参与式的因果推理方法，以反映反馈回路、时间延迟与系统性不公。
• 赋能社区共同创建并批判因果模型，确保公平性通过社区知情的视角来定义与评估。

提出的方法

• 应用社区为基础的系统动力学（CBSD），一种参与式建模方法，让嵌入问题领域中的利益相关者参与其中。
• 使用因果回路图（CLDs）绘制反馈回路与变量间的关系，使隐含的因果假设显性化，并可接受批判。
• 构建存量与流量图，以表示系统动态行为，包括累积量与随时间的变化率。
• 基于模型进行仿真，以测试干预措施、可视化长期影响，并在安全的“仿真环境”中探索因果假设。
• 通过包含边缘化社区在内的多样化利益相关者协作工作坊，实现模型的迭代优化。
• 将社区视角整合到模型开发中，确保因果理论反映现实世界经验与结构性不公。

实验结果

研究问题

• RQ1 如何对机器学习的问题定义阶段进行形式化，以减少对不透明、直觉驱动的因果推断的依赖？
• RQ2 边缘化利益相关者如何通过参与式方法，影响高风险机器学习应用中的因果模型构建？
• RQ3 在机器学习系统设计中，整合动态复杂性（如反馈回路与时间延迟）如何提升公平性？
• RQ4 与传统的自上而下的方法相比，参与式系统动力学模型能否带来更公平、更透明的机器学习干预？
• RQ5 边缘利益相关者的亲身经历在识别与纠正机器学习系统中偏见的代理变量方面发挥什么作用？

主要发现

• 问题定义阶段是机器学习中关键但被忽视的偏见来源，例如医疗风险评估算法中存在的种族偏见，其使用医疗支出作为需求的代理指标。
• 将医疗支出作为健康需求的代理指标，未能考虑系统性不公，如非裔美国人获得医疗资源的机会减少，导致高风险患者被低估。
• CBSD使利益相关者能够通过因果回路图与仿真，可视化并批判因果假设，例如支出与需求之间的关联。
• 通过CBSD进行的参与式建模使因果推理显性化，减少对未经检验假设的依赖，并提高机器学习开发的透明度。
• 系统动力学模型的仿真允许在‘仿真环境’中进行实验，帮助利益相关者理解干预措施的长期影响与意外后果。
• 将社区视角整合到模型构建中，可形成更准确的因果模型，并降低机器学习系统中强化既有社会不公的风险。