[论文解读] Multimodal Attention-based Deep Learning for Alzheimer's Disease Diagnosis

Michal Golovanevsky, Carsten Eickhoff+1 more|arXiv (Cornell University)|Jun 17, 2022

Machine Learning in Healthcare参考文献 32被引用 130

一句话总结

该论文提出MADDi，一种多模态深度学习框架，通过跨模态注意力机制整合MRI、基因（SNP）和结构化临床数据，用于阿尔茨海默病（AD）和轻度认知障碍（MCI）的诊断。通过结合自注意力和跨模态注意力机制，MADDi在三分类任务中实现了96.88%的测试准确率，表明临床数据对模型性能至关重要，且注意力机制显著优于特征拼接方式，能有效提升多模态表征学习效果。

ABSTRACT

Alzheimer's Disease (AD) is the most common neurodegenerative disorder with one of the most complex pathogeneses, making effective and clinically actionable decision support difficult. The objective of this study was to develop a novel multimodal deep learning framework to aid medical professionals in AD diagnosis. We present a Multimodal Alzheimer's Disease Diagnosis framework (MADDi) to accurately detect the presence of AD and mild cognitive impairment (MCI) from imaging, genetic, and clinical data. MADDi is novel in that we use cross-modal attention, which captures interactions between modalities - a method not previously explored in this domain. We perform multi-class classification, a challenging task considering the strong similarities between MCI and AD. We compare with previous state-of-the-art models, evaluate the importance of attention, and examine the contribution of each modality to the model's performance. MADDi classifies MCI, AD, and controls with 96.88% accuracy on a held-out test set. When examining the contribution of different attention schemes, we found that the combination of cross-modal attention with self-attention performed the best, and no attention layers in the model performed the worst, with a 7.9% difference in F1-Scores. Our experiments underlined the importance of structured clinical data to help machine learning models contextualize and interpret the remaining modalities. Extensive ablation studies showed that any multimodal mixture of input features without access to structured clinical information suffered marked performance losses. This study demonstrates the merit of combining multiple input modalities via cross-modal attention to deliver highly accurate AD diagnostic decision support.

研究动机与目标

• 开发一种多模态深度学习框架，通过整合多样化数据源，提升阿尔茨海默病（AD）和轻度认知障碍（MCI）的诊断准确率。
• 解决现有多模态模型仅简单拼接特征而未建模跨模态交互的局限性。
• 探究影像、遗传和临床数据等各模态对整体诊断性能的贡献。
• 评估注意力机制（尤其是跨模态注意力）对多模态AD分类模型性能的影响。
• 证明结构化临床数据在为影像和遗传特征提供上下文并提升其解释性方面起着关键作用。

提出的方法

• MADDi采用多模态深度学习架构，通过模态特定的神经网络主干网络处理MRI、SNP和结构化临床数据。
• 该框架应用自注意力机制以优化各模态内部的特征表示，增强模型对相关模式的关注。
• 通过跨模态注意力显式建模不同模态之间的交互，使网络能够学习共享表征。
• 所有模态的特征通过基于注意力的拼接方式进行融合，使模型在分类过程中能动态权衡各模态的重要性。
• 模型执行三分类任务，分为三类：对照组（CN）、轻度认知障碍（MCI）和阿尔茨海默病（AD）。
• 通过消融研究评估注意力机制和各模态对性能的影响，共使用五次随机模型初始化以确保结果稳健。

实验结果

研究问题

• RQ1 与简单特征拼接相比，跨模态注意力在阿尔茨海默病诊断中的多模态分类性能提升效果如何？
• RQ2 影像、遗传和临床数据在多模态深度学习模型诊断准确率中的相对贡献是什么？
• RQ3 结构化临床数据的引入是否显著提升模型性能，尤其是在与影像和遗传数据结合时？
• RQ4 不同注意力机制（自注意力与跨模态注意力）如何影响模型区分MCI、AD和对照组的能力？
• RQ5 在多模态AD诊断框架中，若缺少临床数据，性能下降程度如何？

主要发现

• MADDi在五次随机模型初始化下均实现了96.88%的测试准确率，创下多模态三分类AD诊断的最新最先进水平。
• 结合跨模态注意力与自注意力的模型表现最佳，相比无任何注意力层的模型，F1-score提升了7.9%。
• 临床模态对模型性能的贡献最大，缺乏临床数据的模型性能显著下降。
• 单独使用影像数据时，其单模态准确率最高（92.28%），但通过多模态学习引入临床和遗传数据后，性能显著优于单模态基线模型。
• 消融研究证实，缺少结构化临床数据的模型表现明显更差，凸显其在为其他模态提供上下文中的关键作用。
• 使用跨模态注意力使模型能够学习到更丰富、更具依赖性的多模态表征，从而提升泛化能力和诊断鲁棒性。