[论文解读] Q-Pain: A Question Answering Dataset to Measure Social Bias in Pain Management

Cécile Logé, Emily Ross+5 more|arXiv (Cornell University)|Aug 3, 2021

Topic Modeling参考文献 37被引用 10

一句话总结

Q-Pain 引入了一个包含 55 个临床案例的问答数据集，用于衡量医疗人工智能中的种族和性别偏见，通过标准化患者档案评估治疗建议。该研究对 GPT-2 和 GPT-3 应用了严格的统计框架，揭示了在交叉种族-性别子群体中镇痛药物处方存在统计显著差异。

ABSTRACT

Recent advances in Natural Language Processing (NLP), and specifically automated Question Answering (QA) systems, have demonstrated both impressive linguistic fluency and a pernicious tendency to reflect social biases. In this study, we introduce Q-Pain, a dataset for assessing bias in medical QA in the context of pain management, one of the most challenging forms of clinical decision-making. Along with the dataset, we propose a new, rigorous framework, including a sample experimental design, to measure the potential biases present when making treatment decisions. We demonstrate its use by assessing two reference Question-Answering systems, GPT-2 and GPT-3, and find statistically significant differences in treatment between intersectional race-gender subgroups, thus reaffirming the risks posed by AI in medical settings, and the need for datasets like ours to ensure safety before medical AI applications are deployed.

研究动机与目标

• 开发一个基准数据集，用于衡量镇痛管理中医疗问答系统内的社会偏见。
• 解决临床决策人工智能中评估偏见缺乏标准化、可复现方法的问题。
• 调查像 GPT-2 和 GPT-3 这类大型语言模型是否反映或放大了现有镇痛治疗中的种族和性别差异。
• 为评估人工智能系统和真实临床工作流程中的偏见提供一个框架。

提出的方法

• 设计 55 个包含患者特定情境的临床案例，涉及疼痛症状和治疗决策，仅改变种族和性别特征。
• 构建封闭式提示，使用标准化、中性的措辞，以隔离人口统计偏见，避免引导。
• 采用统计实验设计，比较不同交叉种族-性别子群体之间的治疗建议。
• 应用三项标准评估指标，评估解释质量：正确识别诊断、情境评估以及阿片类药物使用的适当性。
• 使用相同的提示和分析流程，在同一数据集上评估两种大型语言模型——GPT-2 和 GPT-3。
• 进行推断性统计检验，以检测不同人口统计子群体之间治疗建议的显著差异。

实验结果

研究问题

• RQ1 像 GPT-2 和 GPT-3 这类大型语言模型在不同种族-性别子群体中镇痛药物处方建议方面是否表现出统计显著差异？
• RQ2 当评估具有不同人口统计特征的患者案例时，人工智能生成的解释在多大程度上反映了有偏见的推理？
• RQ3 是否可以通过标准化、可复现的实验框架检测到医疗问答系统中的偏见，而无需依赖有偏见的提示？
• RQ4 GPT-2 和 GPT-3 在镇痛管理中，针对交叉身份的公平性方面，其治疗建议模式有何异同？
• RQ5 在提示中加入剂量/供应量尺度是否能提高人工智能系统中细微歧视行为的检测能力？

主要发现

• GPT-2 和 GPT-3 在不同交叉种族-性别子群体中均表现出统计显著的治疗建议差异，表明人工智能驱动的镇痛管理决策中存在可测量的偏见。
• GPT-3 生成的解释比 GPT-2 更连贯、更符合语境，但两者均未能一致识别患者姓名，尤其是亚洲姓名。
• 从 GPT-2 到 GPT-3，公平性方面未见明显改善，表明仅靠模型规模扩大无法解决语言模型中固有的社会偏见。
• 两个模型的解释往往不完整或重复，其中 GPT-2 尤其容易重复提示片段。
• 该数据集和框架成功隔离了治疗决策中的人口统计偏见，即使提示为中性且标准化。
• 本研究证实，人工智能系统可能复制甚至放大现实世界中镇痛管理的不平等现象，尤其对非裔和女性患者影响显著。