[论文解读] Multimodal Deep Learning for Dynamic and Static Neuroimaging: Integrating MRI and fMRI for Alzheimer Disease Analysis

Anima Kujur, Zahra Monfared|arXiv (Cornell University)|Mar 9, 2026

Functional Brain Connectivity Studies被引用 0

一句话总结

论文提出了一种将MRI（3D CNN）和fMRI（Time-Distributed CNN + LSTM/GRU）相结合的多模态深度学习框架，用于对AD、MCI和正常认知状态进行分类，数据增强在小型配对数据集上提升了性能。

ABSTRACT

Magnetic Resonance Imaging (MRI) provides detailed structural information, while functional MRI (fMRI) captures temporal brain activity. In this work, we present a multimodal deep learning framework that integrates MRI and fMRI for multi-class classification of Alzheimer Disease (AD), Mild Cognitive Impairment, and Normal Cognitive State. Structural features are extracted from MRI using 3D convolutional neural networks, while temporal features are learned from fMRI sequences using recurrent architectures. These representations are fused to enable joint spatial-temporal learning. Experiments were conducted on a small paired MRI-fMRI dataset (29 subjects), both with and without data augmentation. Results show that data augmentation substantially improves classification stability and generalization, particularly for the multimodal 3DCNN-LSTM model. In contrast, augmentation was found to be ineffective for a large-scale single-modality MRI dataset. These findings highlight the importance of dataset size and modality when designing augmentation strategies for neuroimaging-based AD classification.

研究动机与目标

• 利用结构化（MRI）与功能性（fMRI）神经影像提高AD、MCI与正常认知状态分类的准确性。
• 开发一个用于多模态数据的统一时空融合框架。
• 评估数据集规模和数据增强对神经影像学基础的AD分析中模型泛化的影响。

提出的方法

• 使用一个3D CNN编码器从MRI中提取空间特征。
• 使用Time-Distributed 3D CNN+LSTM/GRU从fMRI中提取时间特征。
• 将MRI和fMRI的表示融合入共享潜在空间用于分类。
• 用Adam优化器（lr=1e-5）训练多模态架构（3DCNN-LSTM、3DCNN-GRU），共20个epoch。
• 与单模态基线进行比较并分析数据增强的影响。
• 使用准确度、AUC、混淆矩阵及其他指标进行评估。

实验结果

研究问题

• RQ1 在MRI与fMRI的时空融合是否优于单模态在AD/MCI/NCS分类上的表现？
• RQ2 在小型配对的MRI–fMRI数据集上，领域特定的数据增强是否有助于泛化？
• RQ3 在多模态框架中，哪种循环结构（LSTM vs GRU）对fMRI的时间建模更优？

主要发现

• 对小型HD数据集，数据增强显著提升了多模态模型的性能（3DCNN-LSTM在增强后获得更高的AUC）。
• 不使用数据增强时，多模态模型的泛化能力有限，且在MCI类别上存在显著混淆。
• 在增强数据上，3DCNN-LSTM通常比3DCNN-GRU为AD/MCI/NCS带来更高的AUC，但GRU在计算量较低时也具竞争力。
• 在较大MRI-only Kaggle数据集上，数据增强有时会降低性能，凸显数据集大小与模态对增强有效性的影响。
• 表现最好的多模态模型（3DCNN–LSTM）在增强数据集HD上获得AD 0.76、MCI 0.86、NCS 0.92的AUC。
• 研究结果强调模态融合与数据集特征在设计神经影像学基础的AD分类增强策略中的重要性。