[论文解读] Synthesizing Speech from Intracranial Depth Electrodes using an Encoder-Decoder Framework

Christian Herff|arXiv (Cornell University)|Oct 20, 2021

Speech and Audio Processing参考文献 35被引用 7

一句话总结

本研究利用深度学习编码器-解码器框架，从颅内深度电极（sEEG）实现高质量语音合成，即使在稀疏、皮层下采样和训练数据有限的情况下，仍能实现稳健的音频重建。变分特征丢弃法识别出最具信息量的电极接触点，提升了模型的可解释性与性能。

ABSTRACT

Speech Neuroprostheses have the potential to enable communication for people with dysarthria or anarthria. Recent advances have demonstrated high-quality text decoding and speech synthesis from electrocorticographic grids placed on the cortical surface. Here, we investigate a less invasive measurement modality, namely stereotactic EEG (sEEG) that provides sparse sampling from multiple brain regions, including subcortical regions. To evaluate whether sEEG can also be used to synthesize high-quality audio from neural recordings, we employ a recurrent encoder-decoder framework based on modern deep learning methods. We demonstrate that high-quality speech can be reconstructed from these minimally invasive recordings, despite a limited amount of training data. Finally, we utilize variational feature dropout to successfully identify the most informative electrode contacts.

研究动机与目标

• 探究立体定向脑电图（sEEG）这一微创方法，尽管电极采样稀疏且位于皮层下，是否能够支持高质量语音合成。
• 开发并评估一种深度学习框架，能够从有限的sEEG数据中重建自然语音。
• 利用变分特征丢弃法识别对语音解码最具信息量的电极接触点。
• 推动为无法使用表面脑电图的严重运动功能障碍患者提供语音神经假体。

提出的方法

• 采用循环编码器-解码器神经网络架构，将sEEG电极信号映射为原始音频波形。
• 编码器处理来自深度电极的神经记录时间序列，以提取高层次的与语音相关的特征。
• 解码器基于编码表示生成自回归音频波形，利用注意力机制实现对齐。
• 在训练过程中应用变分特征丢弃法，通过测量其对重建性能的贡献，识别出最具信息量的电极接触点。
• 模型训练使用有限的患者特异性神经数据，强调数据效率。

实验结果

研究问题

• RQ1 尽管sEEG采样稀疏且位于皮层下，是否仍能实现高质量语音合成？
• RQ2 深度编码器-解码器框架在从有限sEEG数据中重建自然语音方面效果如何？
• RQ3 哪些电极接触点对语音重建贡献最大，且能否可靠识别？
• RQ4 变分特征丢弃法是否能在低数据sEEG环境中提升模型可解释性与性能？

主要发现

• 成功利用所提出的深度学习框架从sEEG记录中重建出高保真语音波形。
• 即使训练数据有限，模型仍能实现稳健的语音合成，展现出从稀疏神经输入中强大泛化能力。
• 变分特征丢弃法有效识别出最具信息量的电极接触点，提升了模型可解释性与性能。
• 结果证实，尽管sEEG具有微创性和皮层下采样特性，仍可支持高质量语音神经假体。