[论文解读] Self-Supervised Learning of Brain Dynamics from Broad Neuroimaging Data

Armin W. Thomas, Christopher Ré+1 more|arXiv (Cornell University)|Jun 22, 2022

Functional Brain Connectivity Studies被引用 19

一句话总结

该论文提出了一种新颖的自监督学习框架，用于神经影像数据，其灵感源自自然语言处理（NLP）技术，将脑活动序列建模为类似文本的序列，以学习可泛化的表征。在来自34个数据集的1,726名个体的11,980次fMRI扫描上进行预训练，使模型在心理状态解码任务中的表现显著优于从零开始训练的基线模型，其中因果序列建模（CSM）框架取得了最佳性能。

ABSTRACT

Self-supervised learning techniques are celebrating immense success in natural language processing (NLP) by enabling models to learn from broad language data at unprecedented scales. Here, we aim to leverage the success of these techniques for mental state decoding, where researchers aim to identify specific mental states (e.g., the experience of anger or joy) from brain activity. To this end, we devise a set of novel self-supervised learning frameworks for neuroimaging data inspired by prominent learning frameworks in NLP. At their core, these frameworks learn the dynamics of brain activity by modeling sequences of activity akin to how sequences of text are modeled in NLP. We evaluate the frameworks by pre-training models on a broad neuroimaging dataset spanning functional Magnetic Resonance Imaging data from 11,980 experimental runs of 1,726 individuals across 34 datasets, and subsequently adapting the pre-trained models to benchmark mental state decoding datasets. The pre-trained models transfer well, generally outperforming baseline models trained from scratch, while models trained in a learning framework based on causal language modeling clearly outperform the others.

研究动机与目标

• 为解决基于fMRI的心理状态解码中样本量小、维度高的问题，该问题会导致从零开始训练的模型出现过拟合。
• 克服以往预训练方法的局限性，这些方法依赖于同质数据集或使用非标准化心理状态标签的监督任务。
• 通过将脑活动建模为序列表征，将自然语言处理中成功的自监督学习框架（如因果语言建模和掩码语言建模）适配至神经影像数据。
• 评估在广泛、异质的神经影像数据上进行预训练是否能提升在基准数据集上的下游心理状态解码性能。
• 通过公开发布代码、数据和预训练模型，实现结果的可复现性，并促进未来研究。

提出的方法

• 将每个fMRI时间点表示为一个向量，编码功能独立脑网络的活动，类似于自然语言处理中的词嵌入。
• 设计三种受自然语言处理启发的自监督学习框架：序列到序列自编码、因果语言建模（CSM）和掩码语言建模。
• 在大规模神经影像数据集上预训练深度学习模型，该数据集包含来自34个不同数据集、多个扫描站点的1,726名个体的11,980次实验扫描。
• 在两个基准心理状态解码数据集（HCP和MDTB）上，使用标准分类头微调预训练模型。
• 使用注意力机制和Transformer架构建模脑活动序列中的时间依赖性，类似于Transformer在语言序列中的建模方式。
• 通过在不同随机种子和数据划分下进行特征消融分析与模型稳定性分析，验证预测结果的鲁棒性与可解释性。

实验结果

研究问题

• RQ1 能否有效将自然语言处理中的自监督学习框架适配至脑活动序列建模，并从广泛的神经影像数据中学习可泛化的表征？
• RQ2 与从零开始训练相比，在大规模异质神经影像数据集上进行预训练是否能提升下游心理状态解码性能？
• RQ3 在序列到序列自编码、因果语言建模和掩码语言建模这三种自监督学习框架中，哪一种在心理状态解码任务中展现出最佳迁移性能？
• RQ4 预训练模型的解码决策在多大程度上依赖于特定脑区？这些决策在不同训练设置下是否稳定？
• RQ5 预训练模型在具有不同实验范式和扫描站点的多样化数据集上，其泛化能力如何？

主要发现

• 因果序列建模（CSM）框架在下游心理状态解码任务中显著优于所有其他自监督学习框架，在所有训练数据集规模下均取得了最高的测试准确率。
• 所有预训练模型均优于从零开始训练的基线模型，且随着训练个体数量的增加，性能增益也持续提升。
• 在HCP数据集上，预训练模型实现了与在更大规模数据集（通常包含数百名个体）上训练的模型相当的测试解码准确率，准确率范围在80%至93%之间。
• 特征消融分析表明，准确的解码决策强烈依赖于枕叶皮层、下颞叶皮层以及中央前回和中央后回的活动。
• 模型性能在多个随机种子和数据划分下保持稳定，证实了结果的鲁棒性与可复现性。
• 本研究证明，对广泛、去标识化的神经影像数据进行自监督预训练，可在仅使用少量标注数据的情况下实现高性能的心理状态解码，从而减少对大规模数据收集的依赖。