[论文解读] Simulation Experiment of BCI Based on Imagined Speech EEG Decoding

Kang Wang, Xueqian Wang+1 more|arXiv (Cornell University)|May 22, 2017

EEG and Brain-Computer Interfaces参考文献 10被引用 8

一句话总结

本文提出了一种新颖的端到端深度学习框架，用于从EEG信号中解码句子级别的想象言语，且不依赖音频线索。通过将改进的EEGNet与联结主义时间分类（CTC）相结合，该模型在合成想象言语EEG数据上实现了近乎完美的字符级编辑距离，证明了基于想象言语构建高容量脑机接口的可行性。

ABSTRACT

Brain Computer Interface (BCI) can help patients of neuromuscular diseases restore parts of the movement and communication abilities that they have lost. Most of BCIs rely on mapping brain activities to device instructions, but limited number of brain activities decides the limited abilities of BCIs. To deal with the problem of limited ablility of BCI, this paper verified the feasibility of constructing BCI based on decoding imagined speech electroencephalography (EEG). As sentences decoded from EEG can have rich meanings, BCIs based on EEG decoding can achieve numerous control instructions. By combining a modified EEG feature extraction mehtod with connectionist temporal classification (CTC), this paper simulated decoding imagined speech EEG using synthetic EEG data without help of speech signal. The performance of decoding model over synthetic data to a certain extent demonstrated the feasibility of constructing BCI based on imagined speech brain signal.

研究动机与目标

• 为解决现有脑机接口中指令集有限的问题，探索通过句子级别的想象言语解码来实现更丰富的通信能力。
• 克服在想象言语解码过程中依赖音频信号进行数据标注和分割的问题，从而限制了实时和实际脑机接口应用。
• 开发一种深度学习框架，同时提取EEG信号的时间、频率和空间特征，以实现鲁棒的句子级别解码。
• 验证仅基于脑活动数据直接从EEG信号解码想象言语的脑机接口系统的可行性。
• 为未来将自然语言处理与基于EEG的脑机接口相结合，构建可扩展且灵活的通信接口奠定基础。

提出的方法

• 通过在基于CNN的特征提取器之上添加双向RNN，改进EEGNet架构，以从多通道EEG信号中提取空间、频率和时间特征。
• 应用联结主义时间分类（CTC）以实现端到端的序列到序列学习，而无需强制对齐或音素转录。
• 通过随机选择并拼接对应音素的预录EEG片段，随后进行平滑处理，生成合成想象言语EEG数据。
• 使用随机梯度下降在合成数据上进行模型训练，采用交叉熵损失函数，并通过字符级编辑距离评估性能。
• 使用贪婪解码结合动态规划，从测试EEG输入中预测最可能的音素序列。
• 通过随机扩展序列标签并选择相应的EEG片段，实施数据增强以增加训练多样性。

实验结果

研究问题

• RQ1 在无音频信号或音素标签访问的情况下，深度学习模型能否从EEG信号中解码句子级别的想象言语？
• RQ2 经过改进的EEGNet结合RNN与CTC架构，在多大程度上能够捕捉合成想象言语EEG数据的时间动态并提取有意义的特征？
• RQ3 在序列级别准确率方面，该模型在未见的合成测试样本上泛化能力如何？
• RQ4 该模型能否在合成数据上实现高性能解码，从而表明其在基于想象言语的真实世界脑机接口应用中的可行性？
• RQ5 结合空间、频率和时间EEG特征提取对想象言语序列整体解码准确率有何影响？

主要发现

• 在200次训练迭代后，模型的字符级编辑距离达到0.009，表明在合成测试集上实现了近乎完美的解码性能。
• 字符级编辑距离从初始值0.869在200次迭代后降至0.009，表明模型收敛迅速且具备强大的学习能力。
• 对前20个测试样本的主观评估显示，解码序列与真实标签高度一致，仅有少量差异和额外的填充零。
• 该模型成功学习到将复杂且非平稳的EEG信号映射为有意义的音素序列，且完全无需音频监督。
• RNN与EEGNet及CTC的结合，有效建模了EEG数据中的时间依赖性，这对序列级解码至关重要。
• 结果表明，可以从想象言语EEG信号中提取句子级别的语义信息，支持高容量脑机接口的可行性。