[论文解读] Multimodal Fusion of EHR in Structures and Semantics: Integrating Clinical Records and Notes with Hypergraph and LLM

Hejie Cui, Xinyu Fang+4 more|arXiv (Cornell University)|Feb 19, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出 MINGLE，一种多模态融合框架，通过在超图神经网络中采用两级语义注入策略，整合结构化 EHR 数据与临床笔记。通过利用大语言模型（LLMs）增强医学概念语义与临床笔记语义，MINGLE 改进了就诊级别的表征学习，在 MIMIC-III 和 CRADLE 两个 EHR 数据集上相比基线模型实现了 11.83% 的相对性能提升。

ABSTRACT

Electronic Health Records (EHRs) have become increasingly popular to support clinical decision-making and healthcare in recent decades. EHRs usually contain heterogeneous information, such as structural data in tabular form and unstructured data in textual notes. Different types of information in EHRs can complement each other and provide a more complete picture of the health status of a patient. While there has been a lot of research on representation learning of structured EHR data, the fusion of different types of EHR data (multimodal fusion) is not well studied. This is mostly because of the complex medical coding systems used and the noise and redundancy present in the written notes. In this work, we propose a new framework called MINGLE, which integrates both structures and semantics in EHR effectively. Our framework uses a two-level infusion strategy to combine medical concept semantics and clinical note semantics into hypergraph neural networks, which learn the complex interactions between different types of data to generate visit representations for downstream prediction. Experiment results on two EHR datasets, the public MIMIC-III and private CRADLE, show that MINGLE can effectively improve predictive performance by 11.83% relatively, enhancing semantic integration as well as multimodal fusion for structural and textual EHR data.

研究动机与目标

• 为解决 EHR 中多模态融合的挑战，通过整合异构的结构化数据与非结构化临床笔记。
• 克服现有方法将 EHR 数据孤立处理的局限，特别是医学编码与临床笔记之间缺乏语义整合的问题。
• 通过将医学概念语义与临床笔记语义融合进基于超图的模型，提升患者就诊表征学习能力。
• 利用大语言模型（LLMs）的上下文理解能力与领域知识，提升临床预测任务中的语义表征质量。
• 构建一个统一框架，既能建模 EHR 中复杂的高阶交互关系，又能融合来自结构化编码与文本笔记的丰富语义信号。

提出的方法

• MINGLE 采用超图神经网络作为主干网络，用于建模医学编码与患者就诊之间的高阶交互关系。
• 提出一种两级语义注入策略：首先将 LLM 生成的嵌入向量中提取的医学概念名称语义注入超图结构，随后通过 LLM 编码实现临床笔记语义的融合。
• 医学概念语义通过提示 LLM 输入概念名称（如“血管紧张素 II 受体阻滞剂”）生成上下文嵌入向量获得。
• 临床笔记语义通过 LLM 编码提取关键信息，再利用可学习注意力机制融合进超图表征。
• 通过对比学习目标联合优化结构与语义表征，实现语义视图与结构视图的一致对齐。
• 通过一个维度比例超参数控制最终表征中结构与语义嵌入贡献的平衡。

实验结果

研究问题

• RQ1 将 LLM 生成的医学概念语义融入，能否提升超图模型中结构化 EHR 数据的表征能力？
• RQ2 通过 LLM 融合临床笔记语义，对多模态 EHR 模型的预测性能有何影响？
• RQ3 两级语义注入策略是否能生成更鲁棒且更具临床可解释性的患者就诊表征？
• RQ4 在真实世界 EHR 数据集上，MINGLE 在多种指标下的性能与现有基线相比如何？
• RQ5 LLM 生成的语义在多大程度上增强了 EHR 超图中临床相关节点的识别能力？

主要发现

• 在 MIMIC-III 和 CRADLE 两个 EHR 数据集上，MINGLE 相较于基线模型实现了 11.83% 的相对性能提升。
• 在 MIMIC-III 数据集上，MINGLE 在所有基线模型中取得了最高的 F1 分数，表明其在类别不平衡数据上的优越性能。
• 消融实验表明，若移除医学概念语义，性能显著下降，证明其在建模结构化 EHR 数据中的关键作用。
• 临床笔记语义的影响在 CRADLE 数据集上更为显著，该数据集包含更清晰、更聚焦于医学概念的笔记，表明上下文质量会影响融合效果。
• 案例研究显示，MINGLE 成功识别出基线模型遗漏的临床相关疾病节点，如“心力衰竭”和“心律失常”，提升了预测推理能力。
• MINGLE 成功捕捉了笔记中的关键临床信息，如术后心律失常与药物不良反应，展现出更强的上下文理解能力。