[论文解读] Task state decoding and mapping of individual four-dimensional fMRI time series using deep neural network

Xiaoxiao Wang, Liang Xiao+7 more|arXiv (Cornell University)|Jan 30, 2018

Functional Brain Connectivity Studies被引用 6

一句话总结

本研究提出一种深度神经网络（DNN），可直接从原始4D fMRI时间序列中分类任务状态，同时保留空间和时间动态信息。该DNN在每个受试者仅使用单个任务块的情况下，对七项任务的分类准确率达到91.75%，并通过引导反向传播生成任务热图，其结果与传统组水平对比图高度一致，即使在小样本数据集上，经迁移学习后准确率仍达95%，表现出色。

ABSTRACT

Decoding specific task states from human fMRI (functional magnetic resonance imaging) signals constitutes a major goal of neuroimaging. Previous studies of task-state classification have focused largely on processed fMRI characteristics (e.g. functional connectivity patterns, activity patterns) or a single fMRI volume. Here, we assembled a novel deep neural network (DNN) for classifying directly from 4-D fMRI time series, retaining both spatial and temporal information of fMRI signals. We trained and tested the DNN classifier by task fMRI data from human connectome project (HCP) S1200 dataset. Reading just a single block of fMRI time series of each task for each individual, the novel classification method identified the seven tasks with 91.75% accuracy in test. Then we extracted task heatmaps of each time series by a guided backpropagation approach, and found that the heatmaps had a high similarity with the group average result of traditional contrast of parameter estimate (COPE). Furthermore, the DNN could be applied to small dataset. The features from the intermediate layer of the DNN were trained and used to train a support vector machine (SVM) to classify four conditions within 300 blocks of task-fMRI scans, data amount comparable to a usual neuroimaging research, and obtained a 95% accuracy. Our reported findings were the first to demonstrate the ability of DNN to classify and extract heatmaps from a 4-D fMRI time series, as well as its ability to be transfer trained by a small dataset. This approach should enable decoding and mapping subject's task status and furthermore help with classification and diagnosis of neuropsychiatric diseases.

研究动机与目标

• 开发一种直接从未经处理的4D fMRI时间序列中解码任务状态的方法，无需前期处理。
• 在分类过程中同时保留fMRI信号中的空间和时间信息。
• 评估深度学习在神经影像研究中典型的小样本fMRI数据集上的性能。
• 利用引导反向传播生成可解释的任务特异性大脑激活图。
• 评估利用DNN中间层特征进行小样本分类的迁移学习可行性。

提出的方法

• 在人类连接组计划（HCP）S1200数据集的4D fMRI时间序列上，端到端训练深度神经网络（DNN），使用未经预处理的原始数据。
• DNN仅使用每个个体每项任务的单个fMRI数据块，对七种不同的任务状态进行分类。
• 对训练好的DNN应用引导反向传播，以生成可解释的任务特异性激活热图。
• 提取DNN中间全连接层的特征，并用于训练支持向量机（SVM）以实现迁移学习。
• 在包含300个fMRI数据块的小样本数据集上评估该方法，模拟典型神经影像学研究的规模。
• 以传统组水平对比图（COPE）为基准，验证生成热图的可解释性。

实验结果

研究问题

• RQ1 深度神经网络能否准确地直接从未经处理的4D fMRI时间序列中分类任务状态？
• RQ2 DNN中通过引导反向传播生成的激活模式是否与传统fMRI分析中已建立的组水平激活图一致？
• RQ3 当DNN在与典型神经影像学研究规模相当的小样本fMRI数据集上微调时，能否实现高分类准确率？
• RQ4 DNN中间层的特征表示是否可迁移至小样本数据的下游分类任务？
• RQ5 DNN模型能否以高空间和时间保真度解码并映射个体任务状态？

主要发现

• DNN在每个受试者每项任务仅使用一个fMRI数据块的情况下，对七种不同任务状态的分类测试准确率达到91.75%。
• 通过引导反向传播生成的任务热图与组水平对比图（COPE）高度相似，验证了DNN预测结果的可解释性。
• 当使用DNN中间层特征训练SVM时，模型在仅300个fMRI数据块的四类条件下实现了95%的准确率。
• 该方法在小样本数据集上表现出色，表明在低数据量场景下具有强大的迁移学习潜力。
• DNN成功保留了fMRI信号中的空间和时间结构，实现了无需前期处理的直接解码。
• 本研究首次展示了使用深度学习实现端到端4D fMRI时间序列分类，并生成可解释热图的可行性。