[论文解读] Multimodal and Multiscale Deep Neural Networks for the Early Diagnosis of Alzheimer's Disease using structural MR and FDG-PET images

Donghuan Lu, Karteek Popuri+3 more|arXiv (Cornell University)|Oct 13, 2017

Brain Tumor Detection and Classification参考文献 40被引用 43

一句话总结

本研究提出了一种多模态、多尺度深度神经网络，通过融合结构磁共振成像（MRI）和氟脱氧葡萄糖正电子发射断层扫描（FDG-PET）图像，以改善阿尔茨海默病的早期诊断。通过利用跨多个空间尺度和图像模态的特征，该模型在预测3年内转化为阿尔茨海默病方面达到了85.68%的准确率，优于现有方法。

ABSTRACT

Alzheimer's Disease (AD) is a progressive neurodegenerative disease. Amnestic mild cognitive impairment (MCI) is a common first symptom before the conversion to clinical impairment where the individual becomes unable to perform activities of daily living independently. Although there is currently no treatment available, the earlier a conclusive diagnosis is made, the earlier the potential for interventions to delay or perhaps even prevent progression to full-blown AD. Neuroimaging scans acquired from MRI and metabolism images obtained by FDG-PET provide in-vivo view into the structure and function (glucose metabolism) of the living brain. It is hypothesized that combining different image modalities could better characterize the change of human brain and result in a more accuracy early diagnosis of AD. In this paper, we proposed a novel framework to discriminate normal control(NC) subjects from subjects with AD pathology (AD and NC, MCI subjects convert to AD in future). Our novel approach utilizing a multimodal and multiscale deep neural network was found to deliver a 85.68\% accuracy in the prediction of subjects within 3 years to conversion. Cross validation experiments proved that it has better discrimination ability compared with results in existing published literature.

研究动机与目标

• 通过整合结构MRI和FDG-PET影像数据，改善阿尔茨海默病的早期诊断。
• 通过采用多尺度特征提取，解决神经影像学中训练数据有限的挑战。
• 通过融合解剖学和代谢性脑信息的多模态方法，提升分类性能。
• 在临床诊断前最多3年内，预测轻度认知障碍（MCI）个体向阿尔茨海默病转化的可能性。
• 评估联合使用多模态和多尺度深度学习方法相较于单模态或单尺度方法的优势。

提出的方法

• 该框架通过在多个分辨率下提取多尺度图像块，处理MRI和FDG-PET图像，以捕捉局部和全局特征。
• 将来自MRI和FDG-PET的多模态特征拼接后输入深度神经网络，实现联合表征学习。
• 采用基于堆叠自编码器的深度神经网络，从融合的多尺度输入中学习分层非线性特征。
• 在多个训练集上进行交叉验证，包括对照组（sNC）、前驱型MCI（pMCI）和症状性AD（sAD）受试者。
• 模型被训练以将受试者分类为处于阿尔茨海默病病程中的（pNC、pMCI、sAD）或未受影响的（sNC），性能通过准确率、敏感性和特异性进行评估。
• 通过评估在临床诊断前1年、2年和3年的分类性能，对网络进行早期预测评估。

实验结果

研究问题

• RQ1 能否通过融合结构MRI和FDG-PET的多尺度特征的深度神经网络，提升阿尔茨海默病病理的早期检测能力？
• RQ2 与单模态方法相比，同时包含解剖学（MRI）和代谢性（FDG-PET）影像模态是否能提高分类准确率？
• RQ3 多尺度特征提取是否能增强深度学习模型在基于神经影像的AD预测中的判别能力？
• RQ4 该模型对在影像检查后3年内将转化为AD的个体的预测准确率如何？
• RQ5 训练数据组成（例如，是否包含pNC和pMCI）如何影响模型识别高风险个体的能力？

主要发现

• 所提出的多模态、多尺度深度神经网络在预测影像后3年内转化为阿尔茨海默病方面，准确率达到85.68%。
• 在联合阿尔茨海默病病程（pNC、pMCI、sAD）上训练的模型优于仅在sAD上训练的模型，在临床症状出现前1年预测转化的准确率达到90.08%。
• 3年预测的敏感性为85.68%，特异性为86.32%，表明在识别高风险个体方面表现优异。
• MRI与FDG-PET数据的融合比单独使用任一模态的准确率更高，证明了多模态整合的优势。
• 交叉验证结果证实，所提出的方法在判别能力方面优于现有已发表的方法。
• 随着更多样化的训练数据（特别是pNC和pMCI受试者）的引入，模型性能得到提升，表明纵向疾病病程数据可增强预测能力。