[论文解读] Multimodal Representations Learning and Adversarial Hypergraph Fusion for Early Alzheimer's Disease Prediction

Qiankun Zuo, Baiying Lei+4 more|arXiv (Cornell University)|Jul 21, 2021

Machine Learning in Healthcare参考文献 37被引用 4

一句话总结

该论文提出了一种多模态表征学习与对抗性超图融合（MRL-AHF）框架，用于利用多模态神经影像数据进行阿尔茨海默病（AD）的早期预测。通过整合基于分布引导的图生成对抗网络（Graph GAN）与基于CNN的自编码器进行表征学习，并采用对抗性超图融合方法对齐异质模态的分布，该模型在ADNI数据集上实现了95.07%的准确率，优于现有方法。

ABSTRACT

Multimodal neuroimage can provide complementary information about the dementia, but small size of complete multimodal data limits the ability in representation learning. Moreover, the data distribution inconsistency from different modalities may lead to ineffective fusion, which fails to sufficiently explore the intra-modal and inter-modal interactions and compromises the disease diagnosis performance. To solve these problems, we proposed a novel multimodal representation learning and adversarial hypergraph fusion (MRL-AHF) framework for Alzheimer's disease diagnosis using complete trimodal images. First, adversarial strategy and pre-trained model are incorporated into the MRL to extract latent representations from multimodal data. Then two hypergraphs are constructed from the latent representations and the adversarial network based on graph convolution is employed to narrow the distribution difference of hyperedge features. Finally, the hyperedge-invariant features are fused for disease prediction by hyperedge convolution. Experiments on the public Alzheimer's Disease Neuroimaging Initiative(ADNI) database demonstrate that our model achieves superior performance on Alzheimer's disease detection compared with other related models and provides a possible way to understand the underlying mechanisms of disorder's progression by analyzing the abnormal brain connections.

研究动机与目标

• 解决阿尔茨海默病（AD）诊断中多模态神经影像数据不完整的问题。
• 克服模态间分布不一致对有效融合与表征学习造成的阻碍。
• 增强模态内与模态间的特征交互，以提升早期AD与轻度认知障碍（MCI）的检测性能。
• 通过分析异常脑连接模式，提供对疾病进展的可解释性。
• 开发一种鲁棒的多模态融合框架，利用预训练模型与对抗性训练实现更优的诊断性能。

提出的方法

• 利用基于分布的图生成对抗网络（D-GraphGAN）从fMRI和DTI数据中学习潜在表征，利用先验分布信息提升鲁棒性。
• 采用基于CNN的图自编码器（CNN-GraphAE）从MRI和DTI数据中提取表征，利用预训练模型增强特征学习。
• 从学习到的表征中构建两个超图，建模超越成对交互的高阶脑网络连接。
• 应用对抗性超边网络，对齐不同模态间超边特征的分布，减少域偏移。
• 在经过优化、分布对齐的超图特征上执行超边卷积，以融合多模态信息并完成最终分类。
• 分两个阶段训练模型：前100个周期用于表征学习，随后200个周期用于对抗性超图融合。

实验结果

研究问题

• RQ1 对抗性训练能否有效减少阿尔茨海默病诊断中异质多模态表征之间的分布差异？
• RQ2 在低数据场景下，引入预训练模型与分布先验如何改善多模态神经影像的表征学习？
• RQ3 基于超图的融合在捕捉高阶脑连接模式方面，相较于传统图结构或拼接式融合，优势有多大？
• RQ4 所提出的模型能否以更高准确率检测早期MCI，优于现有最先进方法？
• RQ5 通过可视化连接变化，能否揭示阿尔茨海默病进展过程中脑网络重组的潜在机制？

主要发现

• MRL-AHF模型在区分阿尔茨海默病（AD）与正常对照（NC）的任务中达到95.07%的准确率，显著优于SVM（76.05%）与DCNN（84.51%）。
• 在LMCI与NC分类任务中，模型准确率达到91.56%，较次优方法高出2.08个百分点。
• t-SNE可视化结果证实，该模型具有更强的判别能力，其特征簇更清晰、更具可分性，优于SVM与DCNN。
• 连接矩阵分析显示，早期MCI阶段表现出代偿性连接增强，而在晚期AD阶段则逐渐减弱，支持已知的神经生物学机制。
• 使用全部三种模态（MRI、fMRI、DTI）的模型性能优于仅使用两种模态的模型，证实了多模态融合的价值。
• 对抗性超图融合策略有效缩小了不同模态间的分布差距，提升了融合质量与预测性能。