[论文解读] Multiplex Graph Networks for Multimodal Brain Network Analysis

Zhaoming Kong, Lichao Sun+4 more|arXiv (Cornell University)|Jul 31, 2021

Functional Brain Connectivity Studies参考文献 41被引用 5

一句话总结

该论文提出MGNet，一种多路图卷积网络，通过引入张量表示，无需事先了解图拓扑结构，即可在多模态脑网络中学习共享图结构和模态特定图结构。通过利用多线性张量投影推导图结构，并在不同模态间结合GCN，MGNet在HIV、双相情感障碍和PPMI数据集的脑网络数据分类任务中实现了最先进性能。

ABSTRACT

In this paper, we propose MGNet, a simple and effective multiplex graph convolutional network (GCN) model for multimodal brain network analysis. The proposed method integrates tensor representation into the multiplex GCN model to extract the latent structures of a set of multimodal brain networks, which allows an intuitive 'grasping' of the common space for multimodal data. Multimodal representations are then generated with multiplex GCNs to capture specific graph structures. We conduct classification task on two challenging real-world datasets (HIV and Bipolar disorder), and the proposed MGNet demonstrates state-of-the-art performance compared to competitive benchmark methods. Apart from objective evaluations, this study may bear special significance upon network theory to the understanding of human connectome in different modalities. The code is available at https://github.com/ZhaomingKong/MGNets.

研究动机与目标

• 解决多模态脑网络分析中的挑战，即通常缺乏已知的图结构（邻接矩阵）。
• 开发一种统一框架，联合建模多模态脑网络中的共享结构和模态特定结构。
• 消除对先验知识（如感兴趣区域（ROIs）或几何坐标）的依赖，以构建图结构。
• 提升在小规模、真实世界神经影像数据集上的表征学习和疾病分类性能。
• 提供一种可推广的基于GCN的模型，适用于具有固有张量结构的多图、多模态数据。

提出的方法

• 将多模态脑网络在受试者和模态之间堆叠为一个4D张量，以利用结构同质性。
• 使用多线性张量投影，通过投影追踪直接从4D张量中学习图结构，避免使用预定义的邻接矩阵。
• 提出一种新型张量形式的GCN，以在保留模态特异性特征的同时，整合不同模态的多个GCN模型。
• 模型采用可学习的投影矩阵 $\mathbf{U}_1$ 来捕捉节点级别的自相似性，增强表征学习。
• 通过统一的聚合函数生成图嵌入，以建模受试者间节点级别的相似性。
• 评估了模态特定的池化策略（如平均池化），以分析模态主导性对性能的影响。

实验结果

研究问题

• RQ1 多路GCN模型是否能在缺乏先验图拓扑结构的情况下，有效学习多模态脑网络中的共享和模态特定图结构？
• RQ2 与依赖预定义邻接矩阵的方法相比，基于张量的多线性投影在图结构学习方面有何改进？
• RQ3 所提出的MGNet模型在使用多模态脑网络分类神经疾病方面，相较于现有最先进方法，性能提升程度如何？
• RQ4 所学习的图嵌入在HIV和双相情感障碍中是否反映了临床上相关的神经解剖学模式？
• RQ5 模态特定池化和特征投影（$\mathbf{U}_1$）对模型性能和泛化能力的贡献如何？

主要发现

• MGNet在HIV数据集上实现了81.39% ± 13.41的平均准确率，优于基线方法。
• 在双相情感障碍数据集上，MGNet达到了67.78% ± 12.28的准确率，表明其在复杂神经精神疾病中的强大性能。
• 在PPMI数据集上，MGNet达到了66.62% ± 7.87的准确率，表明其在多样化临床队列中的鲁棒性。
• 使用 $\mathbf{U}_1^T\mathbf{X}_{ms}$ 投影后，受试者间模式更加一致，表明对节点级别自相似性的建模得到改善。
• t-SNE可视化结果表明，与MVGCN和标准GCN相比，MGNet学习到的图嵌入具有更好的分离性且与标签对齐。
• 临床特征可视化显示，患者与节点嵌入呈负相关，而对照组呈正相关，与注意力和执行功能障碍的已知功能损害一致。