[论文解读] Neural networks based EEG-Speech Models

Pengfei Sun, Jun Qin|arXiv (Cornell University)|Dec 16, 2016

EEG and Brain-Computer Interfaces参考文献 20被引用 27

一句话总结

本文提出了一种端到端神经网络框架用于脑电信号-语音建模，通过三种模型：NES-I、NES-B 和 NES-G，将想象中的脑电信号映射为音素。通过整合基于语言模型的脑电特征提取、用于深度特征学习的受限玻尔兹曼机（RBMs），以及将口语脑电信号作为偏置或门控信号融合，NES-G 模型实现了最先进性能，在二分类和多分类音素识别任务中均优于支持向量机（SVM）和深度信念网络（DBN），在 11 个音素上的总体准确率达到 41.5%。

ABSTRACT

In this paper, we propose an end-to-end neural network (NN) based EEG-speech (NES) modeling framework, in which three network structures are developed to map imagined EEG signals to phonemes. The proposed NES models incorporate a language model based EEG feature extraction layer, an acoustic feature mapping layer, and a restricted Boltzmann machine (RBM) based the feature learning layer. The NES models can jointly realize the representation of multichannel EEG signals and the projection of acoustic speech signals. Among three proposed NES models, two augmented networks utilize spoken EEG signals as either bias or gate information to strengthen the feature learning and translation of imagined EEG signals. Experimental results show that all three proposed NES models outperform the baseline support vector machine (SVM) method on EEG-speech classification. With respect to binary classification, our approach achieves comparable results relative to deep believe network approach.

研究动机与目标

• 开发一种端到端神经网络框架，将想象中的脑电信号映射为语音音素，克服传统特征提取方法的局限性。
• 通过多模态融合联合建模多通道脑电信号和语音声学特征，提升脑电信号-语音分类性能。
• 通过将口语脑电信号作为条件因子（偏置或门控）融入想象脑电信号的特征表示，以减少噪声和伪影干扰。
• 通过利用 RBMs 等深度学习技术及端到端训练，实现基于脑电的语音识别的优越性能。
• 证明联合学习脑电与语音特征可显著优于基于浅层特征的 SVM 方法。

提出的方法

• NES 框架采用基于语言模型的脑电特征提取层，以建模通道间相关性，并从多通道脑电信号中提取深度表征。
• 采用受限玻尔兹曼机（RBM）层进行无监督预训练和特征学习，增强对脑电伪影的鲁棒性。
• 语音投影层将学习到的脑电特征映射到共享的声学特征空间，实现多模态融合。
• 开发了三种模型：NES-I（仅使用想象脑电信号）、NES-B（将口语脑电信号作为偏置）、NES-G（将口语脑电信号作为门控），其中后者采用因子化 RBM 训练以提升学习效果。
• 模型通过监督和无监督目标进行端到端训练，并添加 softmax 层用于分类。
• 框架使用 KARA ONE 数据集，包含 14 名参与者和 11 个音素类别，特征包括均值、方差、谱熵及其导数。

实验结果

研究问题

• RQ1 端到端神经网络框架能否有效实现想象脑电信号到音素的映射，并提升表征学习能力？
• RQ2 将口语脑电信号作为偏置或门控信息是否能增强想象脑电信号的特征学习与分类准确率？
• RQ3 所提出的 NES 模型在脑电信号-语音分类任务中与传统 SVM 和深度信念网络基线相比表现如何？
• RQ4 联合脑电-语音特征表征在音素级任务中能多大程度上提升分类性能？
• RQ5 所提出的模型能否恢复语音包络，并在多分类音素识别中实现高准确率？

主要发现

• NES-G 模型在 11 个音素上的总体分类准确率达到最高，为 41.5%，显著优于 SVM 多分类基线。
• 对于 /uw/ 音素，NES-G 模型达到 58% 的准确率，而 SVM 多分类基线仅为 24%。
• 在所有音素类别中，NES-G 模型均优于 NES-I 和 NES-B，表明将口语脑电信号作为门控信号具有显著有效性。
• 在二分类任务中，NES-G 模型性能与深度信念网络相当，表现出强大的泛化能力。
• 混淆矩阵显示，误分类的音素在声学上相似（例如 /uw/ 和 /m/），表明模型性能可通过引入更多样化的训练数据进一步提升。
• 通过 RBMs 进行深度特征学习，以及基于语言模型的脑电特征提取，显著提升了表征质量，优于传统浅层特征（如均值、方差、熵等）。