[论文解读] The Spatial Real and Virtual Sound Stimuli Optimization for the Auditory BCI

Nozomu Nishikawa, Y. Matsumoto+2 more|arXiv (Cornell University)|Oct 10, 2012

Vehicle Noise and Vibration Control参考文献 9被引用 7

一句话总结

本文提出一种改进的向量基振幅平移（VBAP）方法，用于为听觉脑机接口（aBCI）生成虚拟空间声音刺激，实现更少扬声器的多指令控制。结果表明，虚拟声音图像可产生与真实声源相当的P300脑电响应，且通过音量调制实现的声音深度显著增强了P300振幅，支持了高容量、扬声器无关的aBCI系统可行性。

ABSTRACT

The paper presents results from a project aiming to create horizontally distributed surround sound sources and virtual sound images as auditory BCI (aBCI) stimuli. The purpose is to create evoked brain wave response patterns depending on attended or ignored sound directions. We propose to use a modified version of the vector based amplitude panning (VBAP) approach to achieve the goal. The so created spatial sound stimulus system for the novel oddball aBCI paradigm allows us to create a multi-command experimental environment with very encouraging results reported in this paper. We also present results showing that a modulation of the sound image depth changes also the subject responses. Finally, we also compare the proposed virtual sound approach with the traditional one based on real sound sources generated from the real loudspeaker directions. The so obtained results confirm the hypothesis of the possibility to modulate independently the brain responses to spatial types and depths of sound sources which allows for the development of the novel multi-command aBCI.

研究动机与目标

• 通过使用虚拟声音图像，减少对物理扬声器的依赖，开发一种多指令听觉BCI系统。
• 研究虚拟声音刺激是否能在基于EEG的BCI范式中诱发与真实声源相当的P300响应。
• 考察通过音量调制实现的声音图像深度对P300响应振幅和可分性的影响力。
• 研究不同声音音色在aBCI设置中对心理物理学和神经响应的影响。
• 通过空间与深度调制验证可扩展、扬声器高效aBCI系统的可行性。

提出的方法

• 在MAX/MSP环境中实现一种改进的VBAP算法，利用八个八边形排列的扬声器生成虚拟声源。
• 通过基于向量的振幅加权，在相邻扬声器对之间进行声音平移，简化计算并实现精确的水平定位。
• 系统同时生成真实声源刺激（来自物理扬声器）和虚拟声源刺激（通过VBAP），在实验条件下进行直接比较。
• 通过调节声源音量水平来操控声音深度，模拟更近或更远的空间位置。
• 在离线saBCI模式下采集EEG数据，使用MEMD进行伪影去除，并通过峰值-峰值阈值法识别并剔除眼动/肌电伪影。
• 通过比较目标（注意）与非目标（忽略）声源刺激在电极和条件间的平均ERP波形，评估P300响应的可分性。

实验结果

研究问题

• RQ1 空间声音传输系统（真实声源 vs. 虚拟声像）是否显著影响P300响应振幅和可分性？
• RQ2 声音刺激的音色是否影响aBCI范式中的行为或神经响应？
• RQ3 通过音量调制改变声音图像深度是否改变P300响应的振幅或形态？
• RQ4 在多指令aBCI设置中，虚拟声像是否能可靠诱发与真实声源相当的P300响应？
• RQ5 在近（响亮）与远（安静）声源之间，P300响应强度是否存在可测量的差异？

主要发现

• 与较近（响亮）声源相比，较远（安静）声源的P300响应振幅显著更大，表明深度调制可增强神经可分性。
• 在心理物理学响应方面，真实与虚拟声源刺激之间未观察到显著差异，表明感知性能相当。
• EEG结果表明，真实与虚拟声源均产生强烈且可分离的P300响应，证实了虚拟声源在aBCI应用中的有效性。
• 改进的VBAP方法成功生成了稳定且空间准确的虚拟声像，计算开销极低。
• 使用MEMD与峰值-峰值阈值法进行伪影剔除，有效去除了眨眼与肌电伪影，保留了清晰的ERP波形。
• 在不同方向上未观察到显著的空间位置依赖性P300变化，支持了该刺激系统在多指令BCI设计中的鲁棒性。