[论文解读] Task formulation for Extracting Social Determinants of Health from Clinical Narratives

Manabu Torii, Ian M. Finn+4 more|arXiv (Cornell University)|Jan 26, 2023

Topic Modeling被引用 6

一句话总结

本文针对2022年n2c2 NLP挑战赛中的临床叙述文本，提出了三种用于提取健康社会决定因素（SDOH）的不同任务形式。系统分别采用独立分类、大型语言模型（LLMs）和基于规则的关系抽取方法，分别取得了0.884、0.831和0.663的F1分数，其中独立分类方法表现最佳，原因在于SDOH标注的复杂性和多样性不符合标准事件抽取模式。

ABSTRACT

Objective: The 2022 n2c2 NLP Challenge posed identification of social determinants of health (SDOH) in clinical narratives. We present three systems that we developed for the Challenge and discuss the distinctive task formulation used in each of the three systems. Materials and Methods: The first system identifies target pieces of information independently using machine learning classifiers. The second system uses a large language model (LLM) to extract complete structured outputs per document. The third system extracts candidate phrases using machine learning and identifies target relations with hand-crafted rules. Results: The three systems achieved F1 scores of 0.884, 0.831, and 0.663 in the Subtask A of the Challenge, which are ranked third, seventh, and eighth among the 15 participating teams. The review of the extraction results from our systems reveals characteristics of each approach and those of the SODH extraction task. Discussion: Phrases and relations annotated in the task is unique and diverse, not conforming to the conventional event extraction task. These annotations are difficult to model with limited training data. The system that extracts information independently, ignoring the annotated relations, achieves the highest F1 score. Meanwhile, LLM with its versatile capability achieves the high F1 score, while respecting the annotated relations. The rule-based system tackling relation extraction obtains the low F1 score, while it is the most explainable approach. Conclusion: The F1 scores of the three systems vary in this challenge setting, but each approach has advantages and disadvantages in a practical application. The selection of the approach depends not only on the F1 score but also on the requirements in the application.

研究动机与目标

• 为解决从非结构化临床叙述中提取健康社会决定因素（SDOH）的挑战，此类任务涉及复杂、多样的非标准标注。
• 研究不同任务形式（从独立实体抽取到关系感知建模）对SDOH抽取性能的影响。
• 评估在实际临床NLP应用中，模型性能、可解释性与可适应性之间的权衡。
• 理解传统事件抽取范式在应用于SDOH标注时的局限性，因为其通常不符合标准的时间或因果事件结构。

提出的方法

• 第一套系统使用独立的机器学习分类器，独立检测SDOH实体，不建模实体之间的关系。
• 第二套系统采用大型语言模型（LLM）为每份临床文档生成完整且结构化的SDOH输出，保留标注的关系。
• 第三套系统首先使用机器学习识别候选SDOH短语，然后应用手工编写的规则提取它们之间的关系。
• 所有系统均在2022年n2c2 NLP挑战赛的子任务A上进行评估，该任务聚焦于在临床叙述中识别SDOH实体及其关系。
• 任务形式的设计旨在反映该挑战独特的标注风格，其中SDOH短语和关系具有高度多样性且依赖上下文。

实验结果

研究问题

• RQ1 任务形式的选择——特别是是否显式建模关系或独立处理实体——如何影响SDOH抽取性能？
• RQ2 大型语言模型（LLMs）在多大程度上能够有效捕捉临床叙述中SDOH标注的复杂非标准结构？
• RQ3 为何基于规则的关系抽取系统表现不佳，尽管其是可解释性最强的方法？
• RQ4 SDOH标注的特性如何挑战传统事件抽取与关系抽取范式？

主要发现

• 采用独立机器学习分类器抽取SDOH实体的系统取得了最高的F1分数0.884，在挑战赛中总排名第三。
• 基于LLM的系统取得了具有竞争力的F1分数0.831，表现出强大的泛化能力，并且尽管未在该特定任务上进行微调，仍能较好地尊重标注关系。
• 基于规则的关系抽取系统F1分数最低，仅为0.663，表明手工规则在应对SDOH关系的多样性和复杂性方面存在困难。
• 结果表明，SDOH标注高度多样化，且不符合传统事件抽取模式，因此在训练数据有限的情况下难以建模。