[论文解读] Predicting speech intelligibility from EEG using a dilated convolutional network.

Bernd Accou, Mohammad Jalilpour-Monesi+2 more|arXiv (Cornell University)|May 14, 2021

EEG and Brain-Computer Interfaces参考文献 30被引用 9

一句话总结

本研究提出一种空洞卷积神经网络，无需针对受试者进行微调即可从脑电信号预测语音可懂度，相较于基线模型取得显著性能提升，并与行为MATRIX测试表现出强相关性（r=0.59），首次实现了对未见受试者的客观、可泛化的基于脑电信号的语音接收阈值预测。

ABSTRACT

Objective: Currently, only behavioral speech understanding tests are available, which require active participation of the person. As this is infeasible for certain populations, an objective measure of speech intelligibility is required. Recently, brain imaging data has been used to establish a relationship between stimulus and brain response. Linear models have been successfully linked to speech intelligibility but require per-subject training. We present a deep-learning-based model incorporating dilated convolutions that can be used to predict speech intelligibility without subject-specific (re)training. Methods: We evaluated the performance of the model as a function of input segment length, EEG frequency band and receptive field size while comparing it to a baseline model. Next, we evaluated performance on held-out data and finetuning. Finally, we established a link between the accuracy of our model and the state-of-the-art behavioral MATRIX test. Results: The model significantly outperformed the baseline for every input segment length (p$\leq10^{-9}$), for all EEG frequency bands except the theta band (p$\leq0.001$) and for receptive field sizes larger than 125 ms (p$\leq0.05$). Additionally, finetuning significantly increased the accuracy (p$\leq0.05$) on a held-out dataset. Finally, a significant correlation (r=0.59, p=0.0154) was found between the speech reception threshold estimated using the behavioral MATRIX test and our objective method. Conclusion: Our proposed dilated convolutional model can be used as a proxy for speech intelligibility. Significance: Our method is the first to predict the speech reception threshold from EEG for unseen subjects, contributing to objective measures of speech intelligibility.

研究动机与目标

• 开发一种客观、非侵入性的方法，利用脑电图评估语音可懂度，尤其适用于无法参与行为测试的人群。
• 克服现有线性模型需针对每位受试者单独训练的局限，引入具备泛化能力的深度学习方法。
• 基于脑活动模式建立可靠、与受试者无关的语音接收阈值代理指标。
• 评估模型在不同输入片段长度、脑电频率带和感受野大小下的鲁棒性。
• 通过金标准行为MATRIX测试验证模型的预测准确性。

提出的方法

• 采用空洞卷积神经网络（DCNN）建模脑电信号中的时间依赖性，通过扩展感受野实现长程上下文建模，且不增加参数量。
• 模型处理原始或预处理后的脑电数据，将其分割为固定长度的窗口，输入配置在片段长度、频率带（如α、β、γ）和感受野大小方面进行调整。
• 网络架构采用空洞卷积以扩大有效感受野，使网络能够捕捉更长时间窗口内的与语音相关的神经动力学。
• 通过保留的测试数据和微调策略评估模型的泛化能力和对新受试者的适应性。
• 模型端到端训练以预测语音可懂度分数，损失函数通过均方误差或类似回归准则进行优化。
• 在多个评估指标下与线性基线模型进行对比，包括与行为阈值的相关性。

实验结果

研究问题

• RQ1 是否可以使用空洞卷积的深度学习模型在无需受试者特定微调的情况下，从脑电信号中预测语音可懂度？
• RQ2 输入片段长度如何影响模型预测语音可懂度的能力？
• RQ3 哪些脑电频率带对准确预测语音可懂度贡献最大？
• RQ4 捕捉与语音理解相关神经模式的最优感受野大小是多少？
• RQ5 微调在多大程度上能提升模型在未见受试者上的性能？

主要发现

• 在所有输入片段长度下，空洞卷积模型显著优于线性基线模型（p ≤ 10⁻⁹）。
• 除θ频带外，所有脑电频率带下模型性能均显著优于基线（p ≤ 0.001）。
• 感受野大小超过125 ms时性能显著更优（p ≤ 0.05），表明长期时间上下文的重要性。
• 在保留数据上进行微调显著提升了模型准确率（p ≤ 0.05），证明其对新受试者的适应能力。
• 模型预测的语音接收阈值与行为MATRIX测试结果之间存在显著正相关（r = 0.59，p = 0.0154）。
• 本研究首次提出一种客观、非侵入性且可泛化的深度学习方法，实现对未见受试者的语音接收阈值预测。