[论文解读] Unmasking and Quantifying Racial Bias of Large Language Models in Medical Report Generation

Y. F. Yang, Xiaoyu Liu+3 more|PubMed|Jan 25, 2024

Artificial Intelligence in Healthcare and Education参考文献 9被引用 5

一句话总结

本文分析大型语言模型（GPT-3.5-turbo 与 GPT-4）在生成医疗报告时的种族偏见，揭示不同背景和治疗之间存在的问题性差异。

ABSTRACT

Large language models like GPT-3.5-turbo and GPT-4 hold promise for healthcare professionals, but they may inadvertently inherit biases during their training, potentially affecting their utility in medical applications. Despite few attempts in the past, the precise impact and extent of these biases remain uncertain. Through both qualitative and quantitative analyses, we find that these models tend to project higher costs and longer hospitalizations for White populations and exhibit optimistic views in challenging medical scenarios with much higher survival rates. These biases, which mirror real-world healthcare disparities, are evident in the generation of patient backgrounds, the association of specific diseases with certain races, and disparities in treatment recommendations, etc. Our findings underscore the critical need for future research to address and mitigate biases in language models, especially in critical healthcare applications, to ensure fair and accurate outcomes for all patients.

研究动机与目标

• 促使人们理解在广泛数据上训练的LLMs如何可能继承医疗不平等。
• 量化LLM生成的医疗报告在患者描写、疾病关联和治疗建议中是否存在种族偏见。
• 突出临床AI应用中公平性与安全性的影响。

提出的方法

• 对生成的医疗报告进行定性分析，以识别患者背景和疾病关联中的偏见模式。
• 对偏见指标进行定量评估，如成本预测、住院时长代理和生存率假设。
• 跨种族比较以检测与现实世界医疗不平等相似的差异。

实验结果

研究问题

• RQ1 LLMs在跨不同种族的医疗报告中是否会生成带偏见的患者背景？
• RQ2 LLMs是否将特定疾病与某些种族关联起来，表明存在偏见性推理？
• RQ3 不同种族群体在拟议治疗或预后方面是否存在差异？
• RQ4 这些偏见在多大程度上反映现实世界的医疗差异，以及如何进行衡量？

主要发现

• LLMs在生成的报告中往往为白人群体投射更高的成本和更长的住院时间。
• LLMs在具有挑战性的医疗情景中表现出乐观态度，预测某些病例的生存率显著更高。
• 在生成的医疗报告中，患者背景描述、疾病关联和治疗建议中出现偏差。
• 观察到的偏见反映了现实世界的医疗差异，指出在临床AI使用中的缓解需求。
• 该研究提供了对LLMs生成医疗报告时种族偏见的定性和定量证据。