[论文解读] Write It Like You See It: Detectable Differences in Clinical Notes By Race Lead To Differential Model Recommendations

Hammaad Adam, Mingying Yang+7 more|arXiv (Cornell University)|May 8, 2022

Machine Learning in Healthcare被引用 6

一句话总结

本研究证明，机器学习模型能够准确从去除了种族标识的临床记录中预测患者自报种族——即使人类临床医生无法做到这一点——揭示了临床记录中隐含的种族信号，这些信号在医疗人工智能中持续造成偏见。研究结果表明，即使在移除明确的种族指标后，模型仍能学习并利用与种族相关的语言模式，导致治疗建议的差异，凸显了在人工智能公平性中‘去种族化’数据清洗的局限性。

ABSTRACT

Clinical notes are becoming an increasingly important data source for machine learning (ML) applications in healthcare. Prior research has shown that deploying ML models can perpetuate existing biases against racial minorities, as bias can be implicitly embedded in data. In this study, we investigate the level of implicit race information available to ML models and human experts and the implications of model-detectable differences in clinical notes. Our work makes three key contributions. First, we find that models can identify patient self-reported race from clinical notes even when the notes are stripped of explicit indicators of race. Second, we determine that human experts are not able to accurately predict patient race from the same redacted clinical notes. Finally, we demonstrate the potential harm of this implicit information in a simulation study, and show that models trained on these race-redacted clinical notes can still perpetuate existing biases in clinical treatment decisions.

研究动机与目标

• 调查机器学习模型在移除显式种族指标后，是否能够从临床记录中推断患者种族。
• 评估人类临床医生是否能从相同去标识化临床记录中准确预测患者种族。
• 评估模型可检测的种族信号对临床决策偏见的实际影响。
• 证明去种族化数据仍可能在人工智能驱动的医疗建议中传播种族差异。

提出的方法

• 在两家大型医院的临床记录上训练机器学习模型，已移除显式种族指标。
• 使用自然语言处理技术识别去标识化记录中与自报种族相关的语言模式。
• 通过42名医生的专家审计，评估其从相同去标识化记录中预测患者种族的能力。
• 开展模拟研究，评估模型可检测的种族信息如何影响治疗建议的偏见。
• 分析模型中的特征重要性，识别与种族强相关的特定临床术语，如白人患者中‘淤伤’或‘皮疹’等。
• 通过受控的治疗决策情景模拟，量化模型建议中的种族偏见程度。

实验结果

研究问题

• RQ1 机器学习模型能否在临床记录被去除显式种族标识后，准确预测患者自报种族？
• RQ2 人类临床医生能否从相同去标识化临床记录中准确预测患者种族？
• RQ3 临床记录中哪些语言特征最能预测患者种族？这些特征是反映临床依据，还是潜在的不平等现象？
• RQ4 模型推断种族的能力在多大程度上导致了模拟临床环境中治疗建议的差异？
• RQ5 移除显式种族指标是否足以防止基于临床记录训练的AI模型中的种族偏见？

主要发现

• 机器学习模型在从去种族化临床记录中预测患者自报种族方面表现出高准确率，表明文本中仍存在隐性种族信号。
• 包括42名医生在内的临床医生无法准确从相同去标识化记录中预测患者种族，凸显了人类对AI系统监督的严重盲区。
• 某些临床术语——如‘淤伤’和‘皮疹’——即使在没有临床依据的情况下，也强烈预示白人患者种族，而这些症状在黑人患者中并不应更少见。
• 模型对种族的预测能力源于临床合理共病与潜在问题的记录模式的混合，例如‘难以相处’等负面描述词在黑人患者中更常见。
• 在模拟研究中，基于去种族化记录训练的模型仍产生差异化的治疗建议，黑人患者被推荐治疗的可能性比白人患者最多低10%。
• 本研究证实，移除显式种族变量并不能消除AI模型中的种族偏见，因为种族仍可通过临床记录中相关联的语言模式被推断出来。