[论文解读] Robust and highly adaptable brain-computer interface with convolutional net architecture based on a generative model of neuromagnetic measurements.

Ivan Zubarev, Rasmus Zetter+2 more|arXiv (Cornell University)|May 28, 2018

EEG and Brain-Computer Interfaces被引用 3

一句话总结

该论文提出了一种用于非侵入性脑-计算机接口（BCI）的卷积神经网络（CNN）架构，采用磁脑图（MEG）数据，其灵感来源于神经信号的生成模型，以实现神经生理学可解释性。该模型在解码事件相关反应和振荡活动方面表现出高准确率，无需校准即可在用户间泛化，并通过增量更新将实时性能提升17.0%。

ABSTRACT

Deep Neural Networks have been applied very successfully in image recognition and natural language processing. Recently these powerful methods have received attention also in the brain-computer interface (BCI) community. Here, we introduce a convolutional neural network (CNN) architecture optimized for classification of brain states from non-invasive magnetoencephalographic (MEG) measurements. The model structure is motivated by a state-of-the-art generative model of the MEG signal and is thus readily interpretable in neurophysiological terms. We demonstrate that the proposed model is highly accurate in decoding event-related responses as well as modulations of oscillatory brain activity, and is robust with respect to inter-individual differences. Importantly, the model generalizes well across users: when trained on data pooled from previous users, it can successfully perform on new users. Thus, the time-consuming BCI calibration can be omitted. Moreover, the model can be incrementally updated, resulting in +8.9% average accuracy improvement in offline experiments and +17.0% in a real-time BCI. We argue that this model can be used in practical BCIs and basic neuroscience research.

研究动机与目标

• 通过开发一种可在用户间泛化的模型，解决非侵入性BCI系统中高个体间差异性的挑战。
• 通过利用来自聚合数据的可迁移表征，减少或消除耗时的用户特定校准需求。
• 通过将其建立在最先进的MEG信号生成模型基础上，设计一种在神经生理学术语下可解释的深度学习架构。
• 通过增量模型更新实现实时BCI应用，从而在无需从头重新训练的情况下提升性能。

提出的方法

• 设计一种卷积神经网络（CNN）架构，其结构与功能原理与MEG信号的生成模型相匹配，以确保神经生理学可解释性。
• 在来自多个受试者的聚合MEG数据上训练CNN，以实现跨用户泛化并消除个体校准需求。
• 实施一种增量学习策略，使模型能够通过新用户的数据进行更新，而无需重新训练所有先前数据。
• 使用空间和时间卷积层从MEG传感器时间序列数据中提取特征，以捕捉事件相关反应和振荡调制。
• 使用反向传播和交叉熵损失函数优化网络，用于脑状态的二分类或多分类分类。
• 通过离线分析和实时BCI实验验证模型，以评估其准确率和适应能力。

实验结果

研究问题

• RQ1 基于生成MEG信号模型的深度学习模型是否能在非侵入性MEG数据中实现对事件相关反应和振荡活动的高解码准确率？
• RQ2 所提出的CNN在无需用户特定校准的情况下，其在个体间的泛化程度如何？
• RQ3 在仅使用少量数据的情况下，增量模型更新在提升BCI性能方面的有效性如何？
• RQ4 基于神经生理学启发的架构是否在保持或提升分类准确率的同时增强了可解释性？

主要发现

• 所提出的CNN在从MEG信号中解码事件相关反应和振荡性脑活动调制方面表现出高准确率。
• 该模型在用户间具有良好的泛化能力：当在先前受试者的聚合数据上进行训练时，无需个体校准即可成功解码新受试者的大脑状态。
• 增量模型更新使离线分类准确率平均提升8.9%。
• 在实时BCI实验中，增量更新使分类准确率平均提升17.0%。
• 该模型的架构基于生成MEG模型，可提供脑活动的神经生理学可解释表征。
• 该系统对MEG信号模式中的个体间差异性表现出强鲁棒性。