[论文解读] Towards Precision Healthcare: Robust Fusion of Time Series and Image Data

Ali Rasekh, Reza Heidari+5 more|arXiv (Cornell University)|May 24, 2024

Artificial Intelligence in HealthcareHealth Professions被引用 3

一句话总结

该论文提出了一种鲁棒的多模态深度学习框架，通过独立编码器融合时间序列与医学影像数据，结合基于注意力的模态融合机制和不确定性损失函数，以提升死亡率预测与表型分类性能。该方法在 MIMIC-IV 和 MIMIC-CXR 数据集上表现出优越的性能与抗噪能力，尤其在高达 60% 的噪声水平下仍优于最先进的模型（如 MedFuse），性能仅下降 2%。

ABSTRACT

With the increasing availability of diverse data types, particularly images and time series data from medical experiments, there is a growing demand for techniques designed to combine various modalities of data effectively. Our motivation comes from the important areas of predicting mortality and phenotyping where using different modalities of data could significantly improve our ability to predict. To tackle this challenge, we introduce a new method that uses two separate encoders, one for each type of data, allowing the model to understand complex patterns in both visual and time-based information. Apart from the technical challenges, our goal is to make the predictive model more robust in noisy conditions and perform better than current methods. We also deal with imbalanced datasets and use an uncertainty loss function, yielding improved results while simultaneously providing a principled means of modeling uncertainty. Additionally, we include attention mechanisms to fuse different modalities, allowing the model to focus on what's important for each task. We tested our approach using the comprehensive multimodal MIMIC dataset, combining MIMIC-IV and MIMIC-CXR datasets. Our experiments show that our method is effective in improving multimodal deep learning for clinical applications. The code will be made available online.

研究动机与目标

• 解决异质性临床数据（特别是时间序列与医学影像）的整合挑战，以提升医疗预测建模性能。
• 提升模型在数据质量参差不齐的真实临床环境中（即噪声环境）的鲁棒性。
• 通过建模预测中的不确定性，提升多标签分类任务（如表型分类）的性能。
• 通过注意力机制实现动态、任务感知的模态融合，以增强可解释性与适应性。
• 开发一种灵活、可扩展的框架，适用于超越死亡率预测的多种临床决策支持任务。

提出的方法

• 为时间序列数据（如生命体征、检验结果）和医学影像（如胸部 X 光片）分别使用深度神经网络编码器，以学习模态特异性表征。
• 采用注意力机制，在融合过程中动态加权各模态的重要性，实现对相关资讯的任务自适应聚焦。
• 在多任务学习设置中应用不确定性损失函数，优先处理更简单、更确定的分类任务，以提升泛化能力。
• 引入噪声增强策略，对 10% 至 60% 的像素（图像）和时间步长（时间序列）添加高斯噪声，以模拟真实世界中的数据缺陷。
• 通过对齐时间戳和标准化图像输入，对 MIMIC-IV 和 MIMIC-CXR 数据集进行预处理，以确保多模态训练的一致性。
• 在分布内与分布外噪声设置下训练并评估模型，以测试其在真实临床场景下的鲁棒性。

实验结果

研究问题

• RQ1 如何在多模态深度学习中有效融合时间序列与影像数据，以支持临床预测任务？
• RQ2 基于注意力的模态融合在噪声数据条件下在多大程度上提升了模型性能与鲁棒性？
• RQ3 不确定性感知损失函数是否能提升在类别不平衡数据下的多标签临床分类任务性能？
• RQ4 在噪声水平逐渐增加的情况下，所提模型与最先进的方法（如 MedFuse）在准确率与鲁棒性方面相比如何？
• RQ5 模态特异性编码与动态注意力机制对表型分类与死亡率预测任务中的可解释性与预测准确性有何影响？

主要发现

• 所提模型在噪声条件下表现出卓越的鲁棒性，在 60% 噪声水平下仅出现 2% 的性能下降，优于 MedFuse，后者表现出显著性能退化。
• 基于注意力的融合机制实现了动态、任务相关的注意力分配，提升了模型在多样化临床任务中的适应性与预测准确性。
• 不确定性损失函数通过优先处理更简单、更确定的任务，提升了多标签分类的整体性能，实现更好的泛化能力。
• 该模型在死亡率预测与表型分类任务中均表现出色，涵盖慢性肾病、肝病及术后并发症等。
• 模态特异性编码器与基于注意力的融合机制的结合，显著增强了判别能力，体现在基准 MIMIC 数据集上 AUC 与 F1 分数的提升。
• 即使在测试阶段遇到未经训练的噪声数据，该框架仍保持高度可靠性，体现出强大的真实世界适用性。