[论文解读] Multimodal Fusion of Echocardiography and Electronic Health Records for the Detection of Cardiac Amyloidosis

Zishun Feng, Joseph A. Sivak+1 more|arXiv (Cornell University)|Apr 17, 2024

Amyloidosis: Diagnosis, Treatment, OutcomesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本研究提出了一种基于Transformer的多模态融合模型，将胸骨旁长轴切面和心尖四腔切面超声心动图视频与电子健康记录（EHR）数据——包括人口统计学信息、实验室检查和心脏指标——相结合，用于检测心脏淀粉样变性。该方法在仅41名患者的较小数据集上实现了0.94的AUROC，表明多模态融合可在数据极少的情况下实现高诊断性能，优于单一模态和更大规模影像数据的方法。

ABSTRACT

Cardiac amyloidosis, a rare and highly morbid condition, presents significant challenges for detection through echocardiography. Recently, there has been a surge in proposing machine-learning algorithms to identify cardiac amyloidosis, with the majority being imaging-based deep-learning approaches that require extensive data. In this study, we introduce a novel transformer-based multimodal fusion algorithm that leverages information from both imaging and electronic health records. Specifically, our approach utilizes echocardiography videos from both the parasternal long-axis (PLAX) view and the apical 4-chamber (A4C) view along with patients' demographic data, laboratory tests, and cardiac metrics to predict the probability of cardiac amyloidosis. We evaluated our method using 5-fold cross-validation on a dataset comprising 41 patients and achieved an Area Under the Receiver Operating Characteristic curve (AUROC) of 0.94. The experimental results demonstrate that our approach can achieve competitive results with a significantly smaller dataset compared to prior imaging-based methods that required data from thousands of patients. This underscores the potential of leveraging multimodal data to enhance diagnostic accuracy in the identification of complex cardiac conditions such as cardiac amyloidosis.

研究动机与目标

• 为解决在专家解读有限的临床环境中检测罕见且易被漏诊的心脏淀粉样变性这一挑战。
• 通过整合超声心动图和结构化EHR等多样化数据源，超越单纯影像分析，以提高诊断准确性。
• 评估使用深度学习进行多模态融合是否能在小样本数据集上实现高性能，从而减少对大规模影像数据的依赖。
• 识别在心脏淀粉样变性预测中，来自影像和EHR模态的最具信息量的特征。

提出的方法

• 一种基于Transformer的中间融合模型，将两个超声心动图视图（PLAX和A4C）以及EHR数据在共享潜在空间中进行特征嵌入融合。
• 通过3D卷积神经网络从视频序列中提取超声心动图特征，随后进行时间维度池化。
• EHR特征通过人口统计学、心脏指标和实验室检查数据的早期融合处理，再经由学习的投影层进行嵌入。
• 模型利用多头自注意力机制，动态加权各模态和各组件的贡献。
• 通过5折交叉验证评估性能，AUROC作为主要评价指标。
• 通过消融研究和注意力可视化分析特征重要性与模型可解释性。

实验结果

研究问题

• RQ1 与单一模态模型相比，超声心动图和EHR数据的多模态融合是否能提升心脏淀粉样变性的检测效果？
• RQ2 在本任务中，中间融合与晚期融合在结合影像和EHR数据方面有何差异？
• RQ3 EHR中的哪些组成部分（人口统计学、实验室检查、心脏指标）对预测性能贡献最大？
• RQ4 在仅41名患者的小样本数据集上，能否获得与更大规模纯影像模型相媲美甚至更优的结果？
• RQ5 根据模型的注意力机制，哪些特征对心脏淀粉样变性的预测最具预测性？

主要发现

• 所提出的多模态中间融合模型在41名患者的数据集上（17例病例，24例对照）实现了0.94的AUROC，显著优于单一模态模型。
• 当仅使用41名患者时，该模型的性能优于在2,828名患者上训练的3D CNN模型（AUROC 0.96），证明了其数据效率。
• 实验室检查结果对EHR性能贡献最大，其中BNP和尿蛋白水平是最重要的单个特征之一。
• 总体而言，影像数据对预测的贡献大于EHR数据，且PLAX和A4C视图的贡献几乎相等。
• 消融研究显示，移除实验室检查数据会使模型性能下降最多，而人口统计学和生命体征的贡献最小。
• 注意力可视化显示，模型学会了优先关注临床相关特征，如壁厚度、射血分数和BNP水平，而非不相关条目。