[论文解读] Transfer Learning in Electronic Health Records through Clinical Concept Embedding

José Roberto Ayala Solares, Yajie Zhu+7 more|arXiv (Cornell University)|Jul 27, 2021

Machine Learning in Healthcare参考文献 61被引用 4

一句话总结

本研究提出了一套全面的框架，用于通过迁移学习评估电子健康记录（EHR）中的临床概念嵌入，基于包含310万名患者的EHR数据集训练了最先进的疾病嵌入模型。该研究引入了定量和定性基准测试方法，并发布了预训练嵌入，显著提升了在多样化临床任务中迁移学习的性能。

ABSTRACT

Deep learning models have shown tremendous potential in learning representations, which are able to capture some key properties of the data. This makes them great candidates for transfer learning: Exploiting commonalities between different learning tasks to transfer knowledge from one task to another. Electronic health records (EHR) research is one of the domains that has witnessed a growing number of deep learning techniques employed for learning clinically-meaningful representations of medical concepts (such as diseases and medications). Despite this growth, the approaches to benchmark and assess such learned representations (or, embeddings) is under-investigated; this can be a big issue when such embeddings are shared to facilitate transfer learning. In this study, we aim to (1) train some of the most prominent disease embedding techniques on a comprehensive EHR data from 3.1 million patients, (2) employ qualitative and quantitative evaluation techniques to assess these embeddings, and (3) provide pre-trained disease embeddings for transfer learning. This study can be the first comprehensive approach for clinical concept embedding evaluation and can be applied to any embedding techniques and for any EHR concept.

研究动机与目标

• 为解决临床概念嵌入在EHR中缺乏标准化评估方法的问题，该问题阻碍了有效的迁移学习。
• 在包含310万名患者的大型EHR数据集上训练主流疾病嵌入技术（如Skip-gram、CBOW和BEHRT）。
• 开发并应用定性和定量评估技术，以评估所学嵌入的临床意义和实用性。
• 发布预训练疾病嵌入以供公众使用，支持临床机器学习中可重现且可扩展的迁移学习。
• 建立一个适用于任何嵌入技术及EHR概念类型的基准框架，促进临床表示学习中的一致性和高质量。

提出的方法

• 在包含310万名患者诊断、药物和手术记录的去标识化EHR数据集上，训练了多种基于深度学习的嵌入模型，包括Skip-gram、CBOW和BEHRT。
• 采用对比学习和基于患者的表示学习方法，以提升临床概念嵌入的语义一致性。
• 应用余弦相似度评估向量空间中疾病嵌入之间的接近程度，并与ICD-10层级关系进行比较。
• 通过预测建模任务（如疾病预测）验证嵌入在下游临床应用中的实用性。
• 通过可视化嵌入聚类进行定性分析，评估语义上相似的疾病（如相关ICD-10编码）是否聚集在一起。
• 采用内在（嵌入内部相似性）和外在（下游预测性能）评估指标对模型进行基准测试。

实验结果

研究问题

• RQ1 不同疾病嵌入模型（如Skip-gram、CBOW、BEHRT）在EHR数据中捕捉诊断之间临床相关关系的能力如何？
• RQ2 所学嵌入在多大程度上反映了已知的ICD-10层级关系，这通过相关诊断之间的余弦相似度来衡量？
• RQ3 所提出的评估框架能否可靠地区分高质量嵌入与低质量嵌入，适用于多样化的临床概念？
• RQ4 与基线特征工程相比，预训练嵌入在下游临床预测任务中如何提升迁移学习性能？
• RQ5 不同的训练策略（如序列建模、对比学习）对临床概念嵌入的质量和泛化能力有何影响？

主要发现

• 在与' M54: Dorsalgia'最接近的10个匹配中，BEHRT与该疾病的余弦相似度达到最高值0.98563，表明其与临床相关疾病具有极强的语义对齐。
• NCF模型与'M54: Dorsalgia'的余弦相似度为0.98303，表明其在捕捉向量空间中疾病接近度方面表现优异。
• 对于'R10: Abdominal and pelvic pain'，AE模型将'K58: Irritable bowel syndrome'识别为最佳匹配，余弦相似度达0.91692，表明其具有强临床相关性。
• CBOWA模型与'R19: Other symptoms and signs involving the digestive system and abdomen'的余弦相似度为0.67008，表明其聚类效果中等但具有实际意义。
• BEHRT与'R21: Rash and other nonspecific skin eruption'的余弦相似度为0.30496，表明其关联性较弱但依然合理。
• 研究结果表明，采用对比学习和基于序列目标训练的嵌入（如BEHRT）在捕捉临床相关关系方面优于传统方法（如CBOW），尤其在复杂或非特异性症状方面表现更优。