[论文解读] Voice of Your Brain: Cognitive Representations of Imagined Speech,Overt Speech, and Speech Perception Based on EEG

Seo‐Hyun Lee, Young Eun Lee+1 more|arXiv (Cornell University)|May 31, 2021

EEG and Brain-Computer Interfaces参考文献 21被引用 4

一句话总结

本研究证明，想象言语和外在言语在九名受试者中产生独特且个体化的脑电图（EEG）模式，利用单通道EEG和捕捉时频空特征的深度神经网络，可实现可靠的说话人识别。结果表明，想象言语尤其表现出强烈的个体特异性神经表征，尤其是在T7导联，支持其在安全、单通道脑机接口中用于个人身份识别的实际应用。

ABSTRACT

Every people has their own voice, likewise, brain signals dis-play distinct neural representations for each individual. Al-though recent studies have revealed the robustness of speech-related paradigms for efficient brain-computer interface, the dis-tinction on their cognitive representations with practical usabil-ity still remains to be discovered. Herein, we investigate the dis-tinct brain patterns from electroencephalography (EEG) duringimagined speech, overt speech, and speech perception in termsof subject variations with its practical use of speaker identifica-tion from single channel EEG. We performed classification ofnine subjects using deep neural network that captures temporal-spectral-spatial features from EEG of imagined speech, overtspeech, and speech perception. Furthermore, we demonstratedthe underlying neural features of individual subjects while per-forming imagined speech by comparing the functional connec-tivity and the EEG envelope features. Our results demonstratethe possibility of subject identification from single channel EEGof imagined speech and overt speech. Also, the comparison ofthe three speech-related paradigms will provide valuable infor-mation for the practical use of speech-related brain signals inthe further studies.

研究动机与目标

• 探究想象言语、外在言语和言语感知过程中是否存在个体特异的神经表征。
• 评估在实际脑机接口应用中，利用单通道EEG实现说话人识别的可行性。
• 比较想象言语、外在言语和言语感知的神经活动模式（功能连接和EEG包络）以识别个体差异。
• 确定最适合说话人识别的EEG导联，重点关注实用性和性能。

提出的方法

• 在九名受试者中，针对四种条件（想象言语、外在言语、言语感知和静息状态）采集EEG数据，每种条件包含300次试验。
• 使用五阶巴特沃斯带通滤波器（30–120 Hz）对信号进行预处理，并在试验开始前500 ms进行基线校正。
• 设计了一种深度神经网络架构，以从单通道EEG中提取时间、频谱和空间特征，实现说话人身份的端到端分类。
• 通过相位滞后指数（PLV）分析布罗卡区和威尔尼克区的功能连接，比较想象言语与静息状态下的神经网络动力学。
• 计算并平均各受试者的EEG包络特征，以识别个体在想象言语期间特有的时间模式。
• 使用准确率评估分类性能，并通过t-SNE可视化评估神经表征的类间可分性。

实验结果

研究问题

• RQ1 能否在想象言语、外在言语和言语感知过程中，可靠地从单通道EEG中识别出个体说话人？
• RQ2 从个体特异性角度看，想象言语的神经表征与外在言语和言语感知的神经表征相比有何差异？
• RQ3 在单通道设置下，哪个EEG导联能提供最高的说话人识别性能？
• RQ4 在想象言语过程中，言语相关脑区（布罗卡区和威尔尼克区）的功能连接模式在不同受试者之间是否存在显著差异？
• RQ5 想象言语期间EEG包络动力学在多大程度上反映了个体的言语特征？

主要发现

• T7导联的说话人识别准确率显著优于其他导联（p < 0.001，χ² = 32.51），表明其在实用耳部EEG设备中具有巨大潜力。
• 想象言语和外在言语产生的神经模式比言语感知或静息状态更具区分性与个体特异性，这一结论得到t-SNE可视化和分类准确率的证实。
• 受试者3在功能连接和EEG包络中均表现出最显著的神经特征，与其最高的分类性能相关。
• 大多数受试者在想象言语期间布罗卡区的功能连接减少，但受试者3的功能连接增加，表明神经激活模式存在个体差异。
• 每位受试者的EEG包络在500–1500 ms之间表现出独特的峰值模式，受试者3呈现出辐射状特征模式，与高可分性一致。
• 言语感知的识别准确率略高于静息状态（56.26 ± 1.87% vs. 53.87 ± 3.49%），但受限于单次会话数据的可用性，性能提升有限。