[论文解读] No Fair Lunch: A Causal Perspective on Dataset Bias in Machine Learning for Medical Imaging

Charles Jones, Daniel C. Castro+4 more|arXiv (Cornell University)|Jul 31, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本文提出一种因果框架，用于诊断和解决医学影像人工智能中的数据集偏差问题，区分三种偏差机制——患病率、表现形式和标注差异——每种机制均需采用定制化的缓解策略。该研究提出一个三步因果推理框架，以指导公平模型的开发，表明当前方法在未理解偏差潜在因果结构的情况下应用时往往失效。

ABSTRACT

As machine learning methods gain prominence within clinical decision-making, addressing fairness concerns becomes increasingly urgent. Despite considerable work dedicated to detecting and ameliorating algorithmic bias, today's methods are deficient with potentially harmful consequences. Our causal perspective sheds new light on algorithmic bias, highlighting how different sources of dataset bias may appear indistinguishable yet require substantially different mitigation strategies. We introduce three families of causal bias mechanisms stemming from disparities in prevalence, presentation, and annotation. Our causal analysis underscores how current mitigation methods tackle only a narrow and often unrealistic subset of scenarios. We provide a practical three-step framework for reasoning about fairness in medical imaging, supporting the development of safe and equitable AI prediction models.

研究动机与目标

• 为应对医学影像机器学习模型中日益严重的算法偏差问题，该问题可能导致临床结果不公。
• 识别并分类数据集偏差的不同因果机制——患病率、表现形式和标注差异——这些机制在当前的公平性研究中常被混淆。
• 开发一个基于原则的因果推理框架，以根据偏差的潜在来源指导选择适当的公平性缓解策略。
• 强调当前的偏差缓解技术在未理解偏差因果结构的情况下应用时，往往无效甚至有害。
• 倡导在数据收集和整理过程中提高透明度，并鼓励在设计公平且公正的人工智能模型时使用因果假设。

提出的方法

• 提出一个三步因果框架：(i) 识别偏差的因果性质，(ii) 评估每条因果路径的伦理问题，(iii) 选择适当的缓解策略和度量标准。
• 使用因果图（DAGs）建模敏感属性（A）、疾病状态（Z）、图像特征（X）、标签（Y）和选择机制（S）之间的关系。
• 将偏差机制分为三类：(1) 患病率差异（不同亚组中疾病率不均），(2) 表现形式差异（疾病在不同亚组中表现形式不同），(3) 标注差异（不同亚组间标注不一致）。
• 主张仅当表现形式差异为生物学上可预期且伦理上可接受时，经验风险最小化（ERM）才适用；其他机制则需采用如去偏表示学习或重新标注等不同方法。
• 建议对患病率差异使用保留偏差的度量标准，并在伦理上合理时，在推理阶段引入敏感信息。
• 强调收集或生成去偏数据的重要性，并在强因果假设下使用反事实生成模型来合成公平数据。

Figure 1: Basic causal structures of medical imaging tasks. An underlying condition $Z$ influences the image $X$ and label $Y$ for each individual. Selection $S$ may be random (left) or dependent on any combination of $\{X,Y,Z\}$ (right). In all cases, we wish to learn a model from observed data to

实验结果

研究问题

• RQ1 不同因果机制的数据集偏差——患病率、表现形式和标注差异——在医学影像数据集中如何表现？为何它们常被混淆？
• RQ2 为何当前的偏差缓解技术无法在不同类型的数据集偏差间泛化？其局限性的潜在因果假设是什么？
• RQ3 应基于医学影像数据中偏差的潜在因果结构，依据哪些标准来指导公平性缓解策略的选择？
• RQ4 如何利用因果图使隐含的公平性假设显性化，并提升人工智能模型开发过程的透明度？
• RQ5 合成数据生成和去偏技术在缓解医学影像中复合或复杂偏差机制方面发挥什么作用？

主要发现

• 患病率差异——即不同亚组中疾病率不同——需要谨慎处理，应使用保留偏差的度量标准并进行亚组性能监控，因为仅靠ERM不足以应对。
• 表现形式差异——即疾病在不同亚组中表现形式不同——若差异为生物学上可预期且伦理上可接受，则最适合通过ERM解决。
• 标注差异——由不同亚组间标注不一致引起——在缺乏可靠真实标签的情况下尤其难以检测和修复，可能需要重新标注或对偏差做出强假设。
• 当前的缓解方法在应用于错误的偏差机制时往往失效，凸显了在干预前进行因果诊断的必要性。
• 所提出的三步因果框架使研究人员能够基于临床和伦理考量，系统性地评估是否应保留或缓解某条偏差路径。
• 主动数据收集和反事实生成模型为在因果假设明确时生成去偏训练数据提供了有前景但尚未被充分利用的路径。

Figure 2: Basic causal structure of a no-bias dataset (left). We include a 2D illustration of the no-bias observational distribution (right). Green and blue clusters represent different subgroups, with light and dark clusters representing disease and no disease, respectively. Notice that the optimal