[论文解读] Two-stage Federated Phenotyping and Patient Representation Learning

Dianbo Liu, Dmitriy Dligach+1 more|arXiv (Cornell University)|Aug 14, 2019

Machine Learning in Healthcare参考文献 21被引用 7

一句话总结

本文提出了一种用于临床NLP的两阶段联邦学习框架，可在不共享原始数据的情况下，实现多个医疗机构之间患者表征模型和表型分类器的协作训练。通过在MIMIC-III上进行联邦表征学习，并在i2b2上进行联邦表型识别，该方法实现了0.724的F1分数——与集中式训练相当，证明了在医疗NLP中实现了更好的泛化能力与隐私保护的知识共享。

ABSTRACT

A large percentage of medical information is in unstructured text format in electronic medical record systems. Manual extraction of information from clinical notes is extremely time consuming. Natural language processing has been widely used in recent years for automatic information extraction from medical texts. However, algorithms trained on data from a single healthcare provider are not generalizable and error-prone due to the heterogeneity and uniqueness of medical documents. We develop a two-stage federated natural language processing method that enables utilization of clinical notes from different hospitals or clinics without moving the data, and demonstrate its performance using obesity and comorbities phenotyping as medical task. This approach not only improves the quality of a specific clinical task but also facilitates knowledge progression in the whole healthcare system, which is an essential part of learning health system. To the best of our knowledge, this is the first application of federated machine learning in clinical NLP.

研究动机与目标

• 为解决在标签数据有限且分散于各机构时，训练准确临床NLP模型的挑战。
• 在不移动或聚合原始临床笔记的情况下，实现患者表征与表型分类器的协作学习。
• 通过联邦迁移学习提升表型识别性能，同时保护患者数据隐私。
• 证明联邦机器学习在非结构化临床文本分析中的可行性和有效性。

提出的方法

• 该方法采用两阶段联邦学习流程：首先，在多个机构之间使用去标识化的临床笔记进行监督式患者表征学习。
• 在第一阶段，模型在10个数据孤岛中分割的MIMIC-III数据上进行训练，利用临床概念（CUIs）学习密集的患者嵌入。
• 在第二阶段，将学习到的表征作为输入特征，在3个数据孤岛中分割的i2b2数据上训练表型分类器。
• 该框架使用FedAvg风格聚合来更新全局模型权重，而无需传输原始数据，从而确保隐私。
• 使用CUI特征作为模型输入，但该方法可扩展至原始文本。
• 在七个实验设置下对比了两阶段的集中式与联邦训练性能。

实验结果

研究问题

• RQ1 联邦学习能否在不共享原始患者数据的情况下，有效应用于临床NLP任务（如表型识别）？
• RQ2 与单机构训练相比，联邦患者表征学习是否能提升下游表型识别性能？
• RQ3 完全联邦的两阶段流程在F1分数和模型鲁棒性方面，与集中式训练相比表现如何？
• RQ4 从大规模、多样化数据集（MIMIC-III）迁移学习在联邦设置中在多大程度上提升了表型识别准确性？
• RQ5 当标签数据有限且分布分散时，联邦学习能否克服临床NLP中的数据稀缺与异构性问题？

主要发现

• 完全联邦的两阶段方法在i2b2的肥胖与共病表型识别任务上实现了0.724的F1分数，与集中式基线的0.714非常接近。
• 在三个i2b2机构之间进行联邦表型训练（F1=0.632）显著优于单机构训练（F1=0.542），并达到集中式性能水平。
• 在MIMIC-III上进行联邦表征学习，随后进行集中式表型训练，F1提升至0.714，证实了在分布式环境中迁移学习的有效性。
• 在多个随机数据划分和模型初始化下，完全联邦方法的性能与集中式基线无统计学差异。
• 当‘可疑’病例数量过少，无法可靠进行三分类时，任务被简化为二分类，结果与原始i2b2挑战相当。
• 本研究首次证明，联邦学习在临床NLP中具有可行性与有效性，可在医疗机构间实现隐私保护的协作模型开发。