[论文解读] Natural language processing to identify lupus nephritis phenotype in electronic health records

Yu Deng, Jennifer A. Pacheco+15 more|arXiv (Cornell University)|Dec 20, 2021

Hepatitis C virus research被引用 4

一句话总结

本研究开发并验证了基于自然语言处理（NLP）的算法，用于从电子健康记录（EHR）中识别系统性红斑狼疮肾炎表型，整合了病理报告和病历记录中的结构化数据与临床文本。表现最佳的模型——结合了CUI、正则表达式和特征计数——在范德堡大学医学中心的外部验证中取得了0.96的F值，显著优于基线规则基础方法（F值0.62）。

ABSTRACT

Systemic lupus erythematosus (SLE) is a rare autoimmune disorder characterized by an unpredictable course of flares and remission with diverse manifestations. Lupus nephritis, one of the major disease manifestations of SLE for organ damage and mortality, is a key component of lupus classification criteria. Accurately identifying lupus nephritis in electronic health records (EHRs) would therefore benefit large cohort observational studies and clinical trials where characterization of the patient population is critical for recruitment, study design, and analysis. Lupus nephritis can be recognized through procedure codes and structured data, such as laboratory tests. However, other critical information documenting lupus nephritis, such as histologic reports from kidney biopsies and prior medical history narratives, require sophisticated text processing to mine information from pathology reports and clinical notes. In this study, we developed algorithms to identify lupus nephritis with and without natural language processing (NLP) using EHR data. We developed four algorithms: a rule-based algorithm using only structured data (baseline algorithm) and three algorithms using different NLP models. The three NLP models are based on regularized logistic regression and use different sets of features including positive mention of concept unique identifiers (CUIs), number of appearances of CUIs, and a mixture of three components respectively. The baseline algorithm and the best performed NLP algorithm were external validated on a dataset from Vanderbilt University Medical Center (VUMC). Our best performing NLP model incorporating features from both structured data, regular expression concepts, and mapped CUIs improved F measure in both the NMEDW (0.41 vs 0.79) and VUMC (0.62 vs 0.96) datasets compared to the baseline lupus nephritis algorithm.

研究动机与目标

• 利用自然语言处理改进EHR中系统性红斑狼疮肾炎表型的识别。
• 克服仅依赖EHR中结构化数据和操作编码的局限性。
• 将非结构化临床文本——尤其是活检报告和叙述性病历——整合到系统性红斑狼疮肾炎表型分类中。
• 在范德堡大学医学中心的外部数据集上验证NLP增强算法的性能。
• 通过实现EHR中系统性红斑狼疮肾炎的准确、可扩展的表型分类，支持大规模观察性研究和临床试验。

提出的方法

• 仅使用EHR中的结构化数据（如操作编码、实验室结果）开发基线规则基础算法。
• 使用正则化逻辑回归构建三个NLP模型，采用不同的特征集：(1) CUI的正面提及，(2) CUI的频率，(3) CUI提及、频率与正则表达式匹配的混合特征。
• 将叙述性文本中的临床概念映射到统一医学语言系统（UMLS）概念唯一标识符（CUI），以实现标准化。
• 应用正则表达式检测病历和病理报告中与系统性红斑狼疮肾炎相关的关键术语。
• 在标注的EHR数据上训练并调优逻辑回归模型，以分类患者是否患有系统性红斑狼疮肾炎。
• 在范德堡大学医学中心（VUMC）的独立数据集上验证表现最佳的NLP模型，以评估其泛化能力。

实验结果

研究问题

• RQ1 与仅依赖结构化数据的基线规则方法相比，NLP技术能否提高EHR中系统性红斑狼疮肾炎表型分类的准确性？
• RQ2 CUI提及、CUI频率或混合特征的哪种组合在检测系统性红斑狼疮肾炎时表现最佳？
• RQ3 最佳NLP模型在范德堡大学医学中心的外部、独立EHR数据集上的性能如何？
• RQ4 非结构化临床病历和病理报告在系统性红斑狼疮肾炎识别中，相较于结构化数据，贡献程度如何？
• RQ5 结合语言模式与标准化医学概念（CUI）的混合NLP模型，是否能优于仅使用单一类型特征的模型？

主要发现

• 表现最佳的NLP模型结合了CUI提及、CUI频率和正则表达式匹配，在范德堡大学医学中心（VUMC）的外部验证数据集中取得了0.96的F值。
• 该NLP模型在相同VUMC数据集上显著优于基线规则基础算法（F值0.62）。
• 在NMEDW数据集中，最佳NLP模型的F值为0.79，而基线算法仅为0.41。
• 同时使用结构化数据和从临床病历及病理报告中提取的NLP特征，显著提升了表型分类性能。
• 使用CUI和正则表达式可有效从非结构化文本中提取与系统性红斑狼疮肾炎相关的概念。
• 结果表明，NLP能够有效弥合临床信息嵌入叙述性EHR内容时的表型分类差距。