[论文解读] NeuSpeech: Decode Neural signal as Speech

Yiqian Yang, Yiqun Duan+6 more|arXiv (Cornell University)|Mar 4, 2024

Deception detection and forensic psychologyPsychology被引用 3

一句话总结

NeuSpeech 提出首个无需教师强制（teacher-forcing-free）的端到端框架，用于直接将脑磁图（MEG）信号翻译为文本，采用基于交叉注意力机制的 Whisper 模型，在 GWilliams 数据集上实现 60.30 的 BLEU-1 分数，在 Schoffelen 数据集上实现 53.16 的 BLEU-1 分数，无需预训练或离散信号标记化，证明了从非侵入性神经信号中实现高性能、开放词汇表语音解码的可行性。

ABSTRACT

Decoding language from brain dynamics is an important open direction in the realm of brain-computer interface (BCI), especially considering the rapid growth of large language models. Compared to invasive-based signals which require electrode implantation surgery, non-invasive neural signals (e.g. EEG, MEG) have attracted increasing attention considering their safety and generality. However, the exploration is not adequate in three aspects: 1) previous methods mainly focus on EEG but none of the previous works address this problem on MEG with better signal quality; 2) prior works have predominantly used $``teacher-forcing"$ during generative decoding, which is impractical; 3) prior works are mostly $``BART-based"$ not fully auto-regressive, which performs better in other sequence tasks. In this paper, we explore the brain-to-text translation of MEG signals in a speech-decoding formation. Here we are the first to investigate a cross-attention-based ``whisper" model for generating text directly from MEG signals without teacher forcing. Our model achieves impressive BLEU-1 scores of 60.30 and 52.89 without pretraining $\&$ teacher-forcing on two major datasets ($ extit{GWilliams}$ and $ extit{Schoffelen}$). This paper conducts a comprehensive review to understand how speech decoding formation performs on the neural decoding tasks, including pretraining initialization, training $\&$ evaluation set splitting, augmentation, and scaling law. Code is available at https://github.com/NeuSpeech/NeuSpeech1$.

研究动机与目标

• 实现端到端、开放词汇表的 MEG 到文本翻译，无需依赖教师强制，因为后者在真实推理场景中不切实际。
• 探索使用完整的自回归 Transformer（基于 Whisper）模型直接解码神经信号为语音的可行性，以克服先前基于 BART 的非自回归方法的局限性。
• 在多个数据集、受试者、语言和 MEG 布局上评估性能，以确保泛化能力和鲁棒性。
• 研究数据增强、预训练和模型架构对使用原始 MEG 信号解码性能的影响。

提出的方法

• 采用受 Whisper ASR 模型启发的基于交叉注意力的编码器-解码器架构，将原始 MEG 波形直接映射为文本标记。
• 使用修改后的 Whisper 编码器，包含两个初始卷积层和一个逐点卷积，以增强特征提取并降低时间分辨率。
• 在训练过程中采用块掩码和低信噪比（SNR）噪声增强，以提高对信号退化和泛化能力的鲁棒性。
• 在原始 MEG 信号上端到端训练模型，无需事件标记或离散代码表示，实现直接的序列到序列生成。
• 不对 MEG 数据进行任何预训练，完全依赖模型从原始神经信号和语言先验中学习的能力。
• 使用标准翻译指标（BLEU-1、ROUGE-1）进行评估，通过保留的测试集评估零样本泛化能力和鲁棒性。

Figure 1: Performance on different model sizes. Black numbers represent the BLEU-1 score, green numbers are effective epochs after which the evaluation loss does not descend. Note that each experiment runs 120 epochs.

实验结果

研究问题

• RQ1 全自回归 Transformer 模型是否能在无需教师强制的情况下实现高性能的 MEG 到文本翻译？
• RQ2 基于 Whisper 的架构中的交叉注意力机制与先前基于 BART 的模型相比，在解码原始 MEG 信号时表现如何？
• RQ3 哪些数据增强策略（如块掩码、噪声注入）最有效地提升模型在噪声 MEG 数据上的鲁棒性和性能？
• RQ4 在不进行微调的情况下，模型在不同受试者、MEG 布局和语言之间泛化的程度如何？
• RQ5 缺乏预训练对性能有何影响？模型架构在从原始 MEG 信号中学习有意义语义表征方面起到什么作用？

主要发现

• NeuSpeech 在 GWilliams 数据集上实现 60.30 的 BLEU-1 和 55.26 的 ROUGE-1 F-measure，无需教师强制或预训练，证明了其强大的零样本生成能力。
• 在 Schoffelen 数据集上，模型实现 53.16 的 BLEU-1 分数，证实了其在多个 MEG 数据集和受试者间的一致性能表现。
• 采用小掩码比例的块掩码和低信噪比噪声增强显著提升了模型的泛化能力，而强噪声（0dB SNR）进一步提升了性能，可能是因为增强了对噪声的鲁棒性。
• 移除编码器中的逐点卷积层导致性能显著下降（BLEU-1 从 41.65 降至 34.81），凸显了其在特征学习中的关键作用。
• 随着训练数据增加和更多微调层的引入，性能持续提升，表明模型具有可扩展性，未来通过更大规模数据和更深的微调有望实现进一步增益。
• 时间移位数据增强未带来任何益处，反而降低性能，表明时间移位可能破坏模型从 MEG 信号模式中学习的能力。

Figure 2: Performance changes with different data augmentations. The probability means the likelihood of adding augmentation on each data segment.