[论文解读] Representation Learning for Electronic Health Records

Wei‐Hung Weng, Peter Szolovits|arXiv (Cornell University)|Sep 19, 2019

Machine Learning in Healthcare参考文献 137被引用 18

一句话总结

本文全面综述了电子健康记录（EHR）表示学习技术，重点介绍基于深度学习的方法，这些方法能够解耦潜在因素并从异构EHR数据源中提炼知识。研究表明，学习有意义的、多模态的、可解释的表示可显著提升下游临床任务（如诊断、风险预测和表型分析）的性能。

ABSTRACT

Information in electronic health records (EHR), such as clinical narratives, examination reports, lab measurements, demographics, and other patient encounter entries, can be transformed into appropriate data representations that can be used for downstream clinical machine learning tasks using representation learning. Learning better representations is critical to improve the performance of downstream tasks. Due to the advances in machine learning, we now can learn better and meaningful representations from EHR through disentangling the underlying factors inside data and distilling large amounts of information and knowledge from heterogeneous EHR sources. In this chapter, we first introduce the background of learning representations and reasons why we need good EHR representations in machine learning for medicine and healthcare in Section 1. Next, we explain the commonly-used machine learning and evaluation methods for representation learning using a deep learning approach in Section 2. Following that, we review recent related studies of learning patient state representation from EHR for clinical machine learning tasks in Section 3. Finally, in Section 4 we discuss more techniques, studies, and challenges for learning natural language representations when free texts, such as clinical notes, examination reports, or biomedical literature are used. We also discuss challenges and opportunities in these rapidly growing research fields.

研究动机与目标

• 解决将复杂、异构的EHR数据转化为有意义的低维表示的挑战，以提升下游临床机器学习的性能。
• 通过深度学习捕捉EHR数据中的隐藏模式，弥合专家手工构建的临床特征与自动表示学习之间的差距。
• 通过将领域知识和人类可理解的结构整合到学习到的表示中，提升模型的可解释性和临床可用性。
• 探索跨领域和多模态表示学习，涵盖临床笔记、检验结果、影像和账单数据，以构建稳健、可泛化的模型。
• 识别临床表示学习中的关键挑战，如数据稀缺、时间不规则性、模型偏差、隐私问题和因果关系。

提出的方法

• 利用自编码器、变分自编码器（VAEs）以及序列模型（如RNNs、Transformers）等深度学习架构，从EHR数据中学习密集的低维表示。
• 应用word2vec和基于依存关系的词嵌入，并结合UMLS元词汇表和MeSH术语，以提升EHR中文本自然语言的表示质量。
• 采用双语词典归纳和交叉注意力机制，对齐并迁移不同临床语言风格（如专业语言与消费者语言）之间的表示。
• 通过联合嵌入空间整合多模态数据（文本、检验结果、生命体征、影像），学习统一的患者状态表示。
• 通过概念级映射（如使用UMLS CUI）和微调技术，整合领域知识，以提升词向量和概念向量的质量。
• 采用注意力机制和可解释建模方法，增强模型的可解释性与临床可信度。

实验结果

研究问题

• RQ1 如何通过深度表示学习有效捕捉复杂、时变且异构的EHR数据，以提升临床预测性能？
• RQ2 表示学习技术在诸如死亡率预测或风险分层等任务中，与传统专家手工构建的临床评分系统相比，能多大程度上实现性能超越？
• RQ3 如何将领域知识和标准化术语（如UMLS、MeSH）整合到学习到的表示中，以提升模型的鲁棒性和可解释性？
• RQ4 在EHR中，跨领域和多模态表示学习（尤其在临床笔记、检验结果和医学影像之间）具有哪些优势与局限性？
• RQ5 如何使表示学习模型对现实EHR系统中的数据偏差、隐私威胁和时间不规则性更具鲁棒性？

主要发现

• 与传统特征工程相比，从EHR中进行表示学习可显著提升下游临床任务（如诊断支持、风险预测和患者表型分析）的性能。
• 尤其当整合了领域知识和多模态数据时，使用学习表示的模型在重症监护中死亡率预测任务中，优于经典的临床评分系统（如APACHE和SOFA）。
• 将UMLS元词汇表知识注入词嵌入可提升EHR中文本自然语言表示的质量和临床相关性。
• 跨领域对齐技术（如双语词典归纳）可在无需平行语料的情况下，实现专业与消费者临床语言之间的有效转换。
• 多模态和多任务表示学习框架可为病理学元数据预测等任务构建更通用、更鲁棒的模型。
• 尽管已有进展，公平性、隐私、因果关系和临床部署方面的挑战依然存在，凸显了在医疗领域中发展更可解释、更鲁棒、更合乎伦理的表示学习的迫切需求。