[论文解读] PhyAAt: Physiology of Auditory Attention to Speech Dataset

Nikesh Bajaj, Jesús Requena Carrión+1 more|arXiv (Cornell University)|May 23, 2020

EEG and Brain-Computer Interfaces参考文献 35被引用 6

一句话总结

本论文介绍了PhyAAt，这是一个公开可用的数据集，包含25名非英语母语者在不同噪声、语义性和长度条件下进行自然语音听觉注意实验时采集的14通道EEG、GSR和PPG信号。通过使用频谱特征和SVM模型，研究展示了在注意力水平、噪声水平、语义内容和单词回忆预测方面均显著优于随机水平的预测性能（p << 0.0001），所有结果均可通过开源的phyaat Python库实现复现。

ABSTRACT

Auditory attention to natural speech is a complex brain process. Its quantification from physiological signals can be valuable to improving and widening the range of applications of current brain-computer-interface systems, however it remains a challenging task. In this article, we present a dataset of physiological signals collected from an experiment on auditory attention to natural speech. In this experiment, auditory stimuli consisting of reproductions of English sentences in different auditory conditions were presented to 25 non-native participants, who were asked to transcribe the sentences. During the experiment, 14 channel electroencephalogram, galvanic skin response, and photoplethysmogram signals were collected from each participant. Based on the number of correctly transcribed words, an attention score was obtained for each auditory stimulus presented to subjects. A strong correlation ($p&lt;&lt;0.0001$) between the attention score and the auditory conditions was found. We also formulate four different predictive tasks involving the collected dataset and develop a feature extraction framework. The results for each predictive task are obtained using a Support Vector Machine with spectral features, and are better than chance level. The dataset has been made publicly available for further research, along with a python library - phyaat to facilitate the preprocessing, modeling, and reproduction of the results presented in this paper. The dataset and other resources are shared on webpage - https://phyaat.github.io.

研究动机与目标

• 开发一个捕捉自然语音听觉注意过程中生理反应的数据集，以弥补现有文献中此类资源的不足。
• 使用转录单词准确率作为注意力得分，量化听觉注意力，实现在不同听觉条件下对注意力水平的客观评估。
• 利用多模态生理信号（EEG、GSR、PPG）实现对注意力相关状态的预测建模，支持脑机接口和认知监测应用。
• 提供一个可复现的开源框架，通过phyaat Python库实现预处理、特征提取和建模。
• 支持对听觉处理与注意力大脑机制的研究，包括教育、游戏和辅助技术等应用。

提出的方法

• 在三种听觉条件下（噪声水平（N、S、L）、语义性、刺激长度）开展类似双耳分听的实验，每位受试者完成144次试验，包含听觉、转录和静息阶段。
• 在每次试验中，以128 Hz的采样率采集14通道EEG、皮电反应（GSR）和光电容积脉搏波（PPG）信号。
• 将每次试验的注意力得分定义为正确转录的单词数量（轻微拼写错误忽略不计），以量化注意力水平。
• 使用Welch方法对每个EEG通道提取六种频带功率特征（delta、theta、alpha、beta、低gamma、高gamma）进行功率谱估计。
• 在特征提取前，采用基于小波的伪影去除方法（db3，β=0.1，N=128）对EEG信号进行去噪处理。
• 使用RBF核的SVM模型，基于EEG频谱特征对四个预测任务（注意力得分、噪声水平、语义性、单词回忆（LWR））进行训练，采用10折交叉验证和正则化（C）策略。

实验结果

研究问题

• RQ1 基于转录准确率得出的注意力得分与语音刺激的听觉条件（噪声水平、语义性、长度）之间是否存在显著相关性？
• RQ2 能否利用生理信号（EEG、GSR、PPG）实现对自然语音注意力水平的预测，且性能优于随机水平？
• RQ3 EEG信号的频谱特征在多大程度上可预测听觉刺激的语义内容或单词回忆？
• RQ4 基于EEG频谱特征的基本SVM模型在不同实验条件下预测注意力相关状态的效率如何？
• RQ5 是否可以使用提供的phyaat库和数据集复现所提出的特征提取与建模流程？

主要发现

• 注意力得分与听觉条件之间存在强且统计显著的相关性（p << 0.0001），证实了注意力度量的有效性。
• 预测注意力得分（T1）的SVM模型在测试集上的平均绝对误差（MAE）为29.65，显著优于随机水平（100个单词的句子随机预测的MAE约为50）。
• 噪声水平预测模型（T2）的MAE为4.75，表明可从生理信号中可靠估计背景噪声水平。
• 对于语义性分类（T3），SVM模型准确率达到56%，超过50%的随机水平（1/2），表明可检测到语义内容的神经相关性。
• 对于单词回忆预测（T4），模型准确率达到81%，超过33.3%的随机水平（1/3），表明对回忆表现具有强大的预测能力。
• 所有预测任务的性能均显著高于随机水平，且通过开源的phyaat库可实现结果复现，该库包含预处理、特征提取和建模功能。