[论文解读] Transformer-based Spatial-Temporal Feature Learning for EEG Decoding

Yonghao Song, Xueyu Jia+2 more|arXiv (Cornell University)|Jun 11, 2021

EEG and Brain-Computer Interfaces参考文献 54被引用 93

一句话总结

本论文提出 S3T，一种基于极小变换器的脑电图解码模型，使用空间特征通道注意力和对小时间片的时序注意力，在参数更少的情况下实现近似最先进的性能。

ABSTRACT

At present, people usually use some methods based on convolutional neural networks (CNNs) for Electroencephalograph (EEG) decoding. However, CNNs have limitations in perceiving global dependencies, which is not adequate for common EEG paradigms with a strong overall relationship. Regarding this issue, we propose a novel EEG decoding method that mainly relies on the attention mechanism. The EEG data is firstly preprocessed and spatially filtered. And then, we apply attention transforming on the feature-channel dimension so that the model can enhance more relevant spatial features. The most crucial step is to slice the data in the time dimension for attention transforming, and finally obtain a highly distinguishable representation. At this time, global averaging pooling and a simple fully-connected layer are used to classify different categories of EEG data. Experiments on two public datasets indicate that the strategy of attention transforming effectively utilizes spatial and temporal features. And we have reached the level of the state-of-the-art in multi-classification of EEG, with fewer parameters. As far as we know, it is the first time that a detailed and complete method based on the transformer idea has been proposed in this field. It has good potential to promote the practicality of brain-computer interface (BCI). The source code can be found at: extit{https://github.com/anranknight/EEG-Transformer}.

研究动机与目标

• 以全球依赖建模推动脑电解码，超越CNN/RNN。
• 提出一个面向EEG数据的轻量级变换器风格架构。
• 实现对特征通道的选择性加权并捕捉时间依赖性。
• 在公开的运动想象脑电数据集上展示在参数更少的情况下的竞争性表现。

提出的方法

• 通过带通滤波和受 CSP 启发的空间滤波，采用一对多/一对一策略对 EEG 进行预处理。
• 在时序处理前应用特征通道注意力来加权空间通道。
• 使用卷积式位置编码和多头时序注意力来捕捉时间相关性。
• 将数据划分为小时间片，并应用带残差连接和 FF 块的时序注意力。
• 使用全局平均池化后跟一个简单的全连接层和交叉熵损失进行分类。

实验结果

研究问题

• RQ1 轻量级的基于变换器的模型是否能通过捕捉空间和时间依赖性来有效解码 EEG？
• RQ2 相较于传统的 CSP 基于或 CNN/RNN 方法，关注特征通道是否能提升多类 EEG 判别？
• RQ3 时间片大小和位置编码对 EEG 解码性能的影响是什么？
• RQ4 S3T 在公开的 MI-EEG 数据集上在准确性和参数效率方面与最新基线相比如何？

主要发现

表/结果类型	指标/列1	指标/列2	指标/列3	指标/列4	指标/列5	附加备注
Table I: Scoring performance (OVR per dataset)	2a	c0	91.30	83.33	75.60	95.72	79.28
	2a	c1	91.48	81.88	84.33	93.84	83.09
	2a	c2	92.03	87.84	83.87	95.32	85.81
	2a	c3	90.37	77.40	85.61	91.91	81.30
Table I: Scoring performance (OVR per dataset)	2b	c0	84.26	83.09	85.87	82.66	84.46
	2b	c1	84.26	85.50	82.66	85.87	84.06
Table II: Baseline comparison on 2a (averages)	Method	S01	S02	S03	S04	S05	S06	S07	S08	S09	Average	std	significance	Params
FBCSP	2a	76.00	56.50	81.25	61.00	55.00	45.25	82.75	81.25	70.75	67.75	12.94	p < 0.01	—
ConvNet	2a	76.39	55.21	89.24	74.65	56.94	54.17	92.71	77.08	76.39	72.53	13.42	p < 0.01	295.25k
EEGNet	2a	85.76	61.46	88.54	67.01	55.90	52.08	89.58	83.33	86.81	74.50	14.36	p < 0.01	1.46k
C2CM	2a	87.50	65.28	90.28	66.67	62.5	45.49	89.58	83.33	79.51	74.46	14.45	p < 0.01	36.68k
CNN+LSTM	2a	85.00	54.00	87.00	78.00	77.00	66.00	95.00	83.00	90.00	80.00	11.97	p = 0.0961	8.57k
DFL	2a	91.31	71.62	92.32	78.38	80.10	61.62	92.63	90.30	78.38	81.85	10.15	p = 0.0774	30.69k
Ours	2a	91.67	71.67	95.00	78.33	61.67	66.67	96.67	93.33	88.33	82.59	—	8.68k
FBCSP	2b	70.00	60.36	60.94	97.50	93.12	80.63	78.13	92.50	86.88	80.00	13.06	p < 0.05	—
ConvNet	2b	76.56	50.00	51.56	96.88	93.13	85.31	83.75	91.56	85.62	79.37	16.27	p < 0.05	295.23k
EEGNet	2b	68.44	57.86	61.25	90.63	80.94	63.13	84.38	93.13	83.13	75.88	12.57	p < 0.01	1.15k
MSCNN	2b	80.56	65.44	65.97	99.32	89.19	86.11	81.25	88.82	86.81	82.61	10.44	p < 0.05	24.99k
Ours	2b	81.67	68.33	66.67	98.33	88.33	90.00	85.00	93.33	86.67	84.26	10.03	—	6.50k

• S3T 在 BCIC 竞赛 IV 数据集 2a 和 2b 上取得了有竞争力的准确率，参数量比多数基线更少。
• 时序变换（对时间片的注意力）是骨干，如果移除，性能会显著下降。
• 通过特征通道注意力实现的空间变换提供了额外增益，尤其对难以区分的受试者。
• 通过卷积块的位置编码显著提升性能（移除时会有损失）。
• 消融和参数敏感性分析表明 S3T 对参数变化具有鲁棒性，并展示时序注意力的价值。