[论文解读] REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models

Yinghao Zhu, Changyu Ren+9 more|arXiv (Cornell University)|Feb 10, 2024

Topic Modeling被引用 11

一句话总结

REALM 使用 检索增强生成框架 将 长上下文的临床笔记、时间序列 EHR 数据 与 专业医学知识图谱 融合，以 改善多模态 EHR 预测，降低幻觉并 提升 临床任务表现。

ABSTRACT

The integration of multimodal Electronic Health Records (EHR) data has significantly improved clinical predictive capabilities. Leveraging clinical notes and multivariate time-series EHR, existing models often lack the medical context relevent to clinical tasks, prompting the incorporation of external knowledge, particularly from the knowledge graph (KG). Previous approaches with KG knowledge have primarily focused on structured knowledge extraction, neglecting unstructured data modalities and semantic high dimensional medical knowledge. In response, we propose REALM, a Retrieval-Augmented Generation (RAG) driven framework to enhance multimodal EHR representations that address these limitations. Firstly, we apply Large Language Model (LLM) to encode long context clinical notes and GRU model to encode time-series EHR data. Secondly, we prompt LLM to extract task-relevant medical entities and match entities in professionally labeled external knowledge graph (PrimeKG) with corresponding medical knowledge. By matching and aligning with clinical standards, our framework eliminates hallucinations and ensures consistency. Lastly, we propose an adaptive multimodal fusion network to integrate extracted knowledge with multimodal EHR data. Our extensive experiments on MIMIC-III mortality and readmission tasks showcase the superior performance of our REALM framework over baselines, emphasizing the effectiveness of each module. REALM framework contributes to refining the use of multimodal EHR data in healthcare and bridging the gap with nuanced medical context essential for informed clinical predictions.

研究动机与目标

• 通过 将 外部医学知识 与 多模态 EHR 数据 融合，推动 改善临床预测。
• 提出 一个 RAG 驱动 的 框架，使用笔记和时间序列中的 实体 提取与 对准 到 专业 KG 以 降低 幻觉。
• 开发 一种 自适应 多模态 融合网络，将 基于知识 的 表征 融入 下游 任务。

提出的方法

• 用 GRU 编码 时间序列 EHR 以 获得 hTS。
• 用 长上下文 LLM 编码 临床笔记以 获得 hText。
• 使用 LLM 提示 与 基于规则 的 验证 从 笔记 和 时间序列 提取 疾病 实体。
• 使用 稠密向量 检索 与 阈值 η 将 提取 的 实体 与 PrimeKG 节点 匹配。
• 用 LLM 编码 检索 的 知识 以 获得 hRAG。
• 使用 自注意力/互注意力 融合网络 将 hTS、hText、hRAG 融合，生成 z 并 预测 y。

实验结果

研究问题

• RQ1 RAG 驱动 框架 是否 能 够 有效 将 非结构化 数据（临床笔记）与 结构化 数据（时间序列）及 外部医学知识 融合 于 临床预测 任务？
• RQ2 实体提取 与 KG 匹配 是否 能 降低 LLM 幻觉 并 提高 EHR 分析 的 预测 可靠性？
• RQ3 自适应 多模态 融合 与 现代 文本嵌入 对 死亡率 与 再入院 任务 有 何 影响？
• RQ4 REALM 对 临床数据稀疏性 的 鲁棒性 如何？

主要发现

Methods	Mortality AUROC	Mortality AUPRC	Mortality min(+P, Se)	Mortality F1	Readmission AUROC	Readmission AUPRC	Readmission min(+P, Se)	Readmission F1
MPIM	85.24±1.12	50.52±2.56	50.59±2.33	30.53±2.33	78.62±1.58	49.30±3.01	49.65±2.54	26.61±2.20
UMM	84.01±1.10	49.76±2.21	49.41±2.45	36.21±1.90	77.46±1.36	47.81±2.55	47.27±1.91	34.14±2.21
VecoCare	83.43±1.49	47.28±2.68	47.92±2.22	42.52±2.08	76.93±1.82	46.18±2.76	47.22±2.63	38.79±2.27
M3Care	83.33±1.24	47.86±2.33	49.96±1.99	24.81±2.62	76.80±1.55	46.29±2.62	45.38±2.32	21.51±2.23
GRAM	84.70±1.34	49.21±4.45	49.64±2.85	38.02±3.19	77.84±1.49	47.97±3.68	46.95±2.12	35.24±2.89
KAME	84.59±1.11	49.48±3.37	49.51±2.33	36.14±2.24	78.04±1.34	48.23±3.21	47.41±2.50	31.70±2.19
CGL	84.20±1.16	47.64±3.47	47.67±2.61	38.36±2.04	77.47±1.33	46.68±3.33	47.73±2.25	35.34±2.35
KerPrint	85.29±1.21	51.23±3.48	50.88±2.24	37.00±3.54	78.41±1.50	49.70±3.23	49.39±2.53	34.31±2.35
Ours (REALM)	86.22±0.81	52.64±2.47	50.92±2.01	51.83±2.10	80.24±1.53	52.06±2.64	51.20±2.50	50.58±2.51
Ours	85.18±0.95	50.68±2.64	47.90±2.27	49.81±2.37	78.79±1.47	49.69±2.92	51.20±2.50	50.58±2.51

• REALM 在 MIMIC-III 上 相对于 基线 的 死亡率 与 再入院预测 性能 有 所 提升（AUROC、AUPRC、min(+P, Se)、F1）。
• RAG 增强 的 时间序列 与 文本 模态 相较 于 非 RAG 对应 模态 显著 提升 性能。
• 在 测试 的 文本编码器 中，使用 Qwen-7B 进行 长上下文 临床笔记嵌入 取得 最优 结果。
• 带 自/互 注意力 的 自适应 多模态 融合 提供 了 对 模态 的 更优 集成。
• REALM 对 数据稀疏性 具有 鲁棒性，且 在 检索 质量 实体 信号 方面 保持 更高 水平（分析 实体 重要性）。