[论文解读] RAIM: Recurrent Attentive and Intensive Model of Multimodal Patient Monitoring Data

Yanbo Xu, Siddharth Biswal+3 more|arXiv (Cornell University)|Jul 23, 2018

Machine Learning in Healthcare参考文献 35被引用 25

一句话总结

RAIM 是一种循环的、注意力机制驱动的、高强度的深度学习模型，通过实验室结果和干预措施引导的注意力机制，联合分析高密度多模态 ICU 监测数据（如心电图波形、生命体征和离散临床事件）。该模型在 MIMIC-III 波形数据库匹配子集上实现了最先进的性能，预测生理失代偿的 AUC-ROC 为 90.18%，预测住院时长的准确率为 86.82%。

ABSTRACT

With the improvement of medical data capturing, vast amount of continuous patient monitoring data, e.g., electrocardiogram (ECG), real-time vital signs and medications, become available for clinical decision support at intensive care units (ICUs). However, it becomes increasingly challenging to model such data, due to high density of the monitoring data, heterogeneous data types and the requirement for interpretable models. Integration of these high-density monitoring data with the discrete clinical events (including diagnosis, medications, labs) is challenging but potentially rewarding since richness and granularity in such multimodal data increase the possibilities for accurate detection of complex problems and predicting outcomes (e.g., length of stay and mortality). We propose Recurrent Attentive and Intensive Model (RAIM) for jointly analyzing continuous monitoring data and discrete clinical events. RAIM introduces an efficient attention mechanism for continuous monitoring data (e.g., ECG), which is guided by discrete clinical events (e.g, medication usage). We apply RAIM in predicting physiological decompensation and length of stay in those critically ill patients at ICU. With evaluations on MIMIC- III Waveform Database Matched Subset, we obtain an AUC-ROC score of 90.18% for predicting decompensation and an accuracy of 86.82% for forecasting length of stay with our final model, which outperforms our six baseline models.

研究动机与目标

• 为解决建模高密度、多模态 ICU 监测数据的挑战，包括连续心电图和生命体征，以及离散临床事件（如实验室检查和药物）。
• 开发一种可解释且高效的深度学习模型，整合异构数据模态，避免密集信号对稀疏信号的主导影响。
• 通过联合建模连续生理信号的时间动态和不规则临床事件，提升 ICU 中的临床预测能力。
• 通过将临床事件用作注意力机制在生理信号上的引导，提升模型的可解释性。

提出的方法

• RAIM 采用双流架构：一条分支通过 1D-CNN 和 LSTM 处理由心电图、生命体征等组成的连续多模态信号，另一条分支处理离散临床事件（如实验室检查、干预措施）。
• 它在连续信号上引入多通道注意力机制，其中注意力权重由离散临床事件动态引导，以聚焦于与临床相关的生理片段。
• 构建一个引导矩阵，基于实验室结果和干预措施，以指导注意力机制，确保模型关注与临床相关事件一致。
• 模型采用类似时间融合变压器的机制，将注意力后的生理特征与临床事件嵌入向量进行融合，实现端到端预测。
• 最终输出层生成用于失代偿风险的时变风险评分，以及用于住院时长的多项式预测结果。
• 注意力机制通过突出显示对特定临床结果最具预测性的生理通道和时间窗口，实现可解释性。

实验结果

研究问题

• RQ1 由离散临床事件引导的注意力机制是否能提升对 ICU 监测中高密度连续生理信号的建模能力？
• RQ2 整合多模态数据（连续心电图/生命体征与离散临床事件）在提升对生理失代偿和住院时长预测性能方面有何作用？
• RQ3 由实验室结果和干预措施引导的注意力在多大程度上提升了模型的可解释性和表征学习能力？
• RQ4 所提出的 RAIM 模型是否在 ICU 预测任务中优于未使用引导注意力或多模态融合的基线模型？

主要发现

• RAIM 在预测生理失代偿方面取得了 90.18% 的 AUC-ROC，显著优于六种基线模型。
• 最终的 RAIM-3 模型在九个预定义类别（1–7 天、7–14 天和超过 14 天）的住院时长预测中，准确率达到 86.82%。
• 同时结合实验室结果和干预措施引导的模型（RAIM-3）在两项预测任务中均表现最佳，证明了全面注意力引导的价值。
• 定性分析显示，在临床重要事件（如干预措施或死亡）发生前，多个生理通道均持续生成高注意力权重，验证了模型的临床相关性。
• t-SNE 可视化结果表明，RAIM-3 的最终 LSTM 表征在不同住院时长类别间比基线模型更具可区分性，表明其表征学习能力得到提升。
• 注意力机制成功突出了临床相关的生理片段，如心电图波形和生命体征，这些片段出现在患者病情恶化之前，从而增强了模型的可解释性。