[论文解读] The 2022 n2c2/UW Shared Task on Extracting Social Determinants of Health

Kevin Lybarger, Meliha Yetişgen+1 more|arXiv (Cornell University)|Jan 13, 2023

Food Security and Health in Diverse PopulationsHealth Professions被引用 3

一句话总结

本论文介绍了2022年n2c2/UW关于从临床记录中提取健康社会决定因素（SDOH）的共享任务，使用了社会历史标注语料库（SHAC），该语料库对SDOH事件（如物质使用、就业和居住状况）进行了基于事件的标注，并包含状态、程度和时间性的属性。表现最佳的系统采用基于T5的序列到序列变换器模型，在子任务A中取得了0.901的F1分数，优于基于规则和传统机器学习的方法，而高风险SDOH因素（如无家可归和多物质使用）的性能较低，相较于保护性因素表现更差。

ABSTRACT

Objective: The n2c2/UW SDOH Challenge explores the extraction of social determinant of health (SDOH) information from clinical notes. The objectives include the advancement of natural language processing (NLP) information extraction techniques for SDOH and clinical information more broadly. This paper presents the shared task, data, participating teams, performance results, and considerations for future work. Materials and Methods: The task used the Social History Annotated Corpus (SHAC), which consists of clinical text with detailed event-based annotations for SDOH events such as alcohol, drug, tobacco, employment, and living situation. Each SDOH event is characterized through attributes related to status, extent, and temporality. The task includes three subtasks related to information extraction (Subtask A), generalizability (Subtask B), and learning transfer (Subtask C). In addressing this task, participants utilized a range of techniques, including rules, knowledge bases, n-grams, word embeddings, and pretrained language models (LM). Results: A total of 15 teams participated, and the top teams utilized pretrained deep learning LM. The top team across all subtasks used a sequence-to-sequence approach achieving 0.901 F1 for Subtask A, 0.774 F1 Subtask B, and 0.889 F1 for Subtask C. Conclusions: Similar to many NLP tasks and domains, pretrained LM yielded the best performance, including generalizability and learning transfer. An error analysis indicates extraction performance varies by SDOH, with lower performance achieved for conditions, like substance use and homelessness, that increase health risks (risk factors) and higher performance achieved for conditions, like substance abstinence and living with family, that reduce health risks (protective factors).

研究动机与目标

• 推进自然语言处理（NLP）技术，用于从非结构化临床记录中提取健康社会决定因素（SDOH）。
• 评估多样化NLP方法（从基于规则的系统到深度学习模型）在新标注的临床语料库上的性能。
• 评估模型在不同领域间的泛化能力以及在SDOH提取中的迁移学习潜力。
• 识别从临床记录中提取细微且高风险SDOH因素（如物质使用和无家可归）的挑战。
• 提供关于NLP模型中与健康风险因素相关的偏见见解，特别是对弱势群体的影响。

提出的方法

• 共享任务使用了社会历史标注语料库（SHAC），该语料库是一组临床文本，对13种SDOH概念（包括酒精、药物、烟草、就业和居住状况）进行了基于事件的标注。
• 标注包括状态（存在/不存在）、程度（频率、持续时间）和时间性（过去/现在/未来）属性，支持细粒度事件抽取。
• 定义了三个子任务：子任务A（在MIMIC数据上的SDOH抽取）、子任务B（在UW数据上的泛化能力）、子任务C（使用领域内数据进行迁移学习）。
• 参与者应用了多种技术，包括基于规则的系统、n-gram、词嵌入、知识库，尤其是预训练语言模型（如BERT、T5）。
• 表现最佳的系统基于T5的序列到序列（seq2seq）模型，可直接从原始文本生成结构化的SDOH事件输出。
• 性能通过F1分数进行评估，误差分析聚焦于不同SDOH类型（风险因素与保护性因素）以及事件密度的差异。

Figure 1 : BRAT annotation example.

实验结果

研究问题

• RQ1 不同NLP架构（基于规则、传统机器学习和深度学习）在从临床记录中提取SDOH方面的表现如何？
• RQ2 在子任务B中，模型在一种EHR源上训练后，能在另一领域泛化到何种程度？
• RQ3 在子任务C中，使用领域内数据进行微调的迁移学习效果如何？
• RQ4 为何某些SDOH因素（尤其是无家可归和多物质使用等高风险因素）的抽取性能较低？
• RQ5 SDOH事件在记录中的密度如何影响抽取准确性？

主要发现

• 表现最佳的系统采用基于T5的序列到序列模型，在子任务A中取得0.901的F1分数，在子任务B中取得0.774的F1分数，在子任务C中取得0.889的F1分数。
• 预训练语言模型显著优于基于规则、n-gram和知识库的方法，深度学习模型在所有子任务中均占据主导地位。
• 模型在高风险SDOH因素（如当前/过去的物质使用、无家可归和残疾状态）上的抽取性能较低，相较于保护性因素（如戒断和与家人同住）表现更差。
• 随着SDOH事件密度的增加，性能下降，表明包含多个复杂社会需求的记录更难准确抽取。
• 在酒精、药物、烟草和就业SDOH上的泛化能力高于居住状况，表明某些SDOH类型存在领域偏移挑战。
• 误差分析揭示NLP模型可能存在对高风险SDOH的低估抽取倾向，这可能影响健康公平努力。

Figure 2 : Annotation examples describing event extraction as a slot filling task.