[论文解读] Neuro-BERT: Rethinking Masked Autoencoding for Self-supervised Neurological Pretraining

Di Wu, Siyuan Li+2 more|arXiv (Cornell University)|Apr 20, 2022

EEG and Brain-Computer Interfaces被引用 11

一句话总结

该论文提出 neuro2vec，一种用于神经生理信号的自监督预训练框架，通过掩码傅里叶谱预测来学习鲁棒表征。通过预测被掩码的神经生理信号（EEG/EMG）的傅里叶变换并利用逆离散傅里叶变换（IDFT）重建信号，neuro2vec 在睡眠分期和手势识别等下游任务中实现了最先进性能，优于对比学习和自回归方法，且无需数据增强。

ABSTRACT

Deep learning associated with neurological signals is poised to drive major advancements in diverse fields such as medical diagnostics, neurorehabilitation, and brain-computer interfaces. The challenge in harnessing the full potential of these signals lies in the dependency on extensive, high-quality annotated data, which is often scarce and expensive to acquire, requiring specialized infrastructure and domain expertise. To address the appetite for data in deep learning, we present Neuro-BERT, a self-supervised pre-training framework of neurological signals based on masked autoencoding in the Fourier domain. The intuition behind our approach is simple: frequency and phase distribution of neurological signals can reveal intricate neurological activities. We propose a novel pre-training task dubbed Fourier Inversion Prediction (FIP), which randomly masks out a portion of the input signal and then predicts the missing information using the Fourier inversion theorem. Pre-trained models can be potentially used for various downstream tasks such as sleep stage classification and gesture recognition. Unlike contrastive-based methods, which strongly rely on carefully hand-crafted augmentations and siamese structure, our approach works reasonably well with a simple transformer encoder with no augmentation requirements. By evaluating our method on several benchmark datasets, we show that Neuro-BERT improves downstream neurological-related tasks by a large margin.

研究动机与目标

• 为解决神经生理数据标注有限的问题，开发一种不依赖复杂数据增强的自监督预训练方法。
• 探究傅里叶域中的频率和相位信息是否可作为学习神经生理信号有意义表征的强归纳偏置。
• 通过在傅里叶域中采用简单而有效的掩码自编码方法，提升 EEG 和 EMG 任务（如睡眠阶段分类和手势识别）的下游性能。
• 证明基于傅里叶的掩码自编码优于对比学习和时空自回归建模，在神经生理信号表征学习中表现更优。

提出的方法

• 模型在时域中掩码输入神经生理信号的一部分，并通过 Transformer 编码器预测缺失信号的傅里叶谱（幅度和相位）以实现重建。
• 预测的傅里叶谱通过逆离散傅里叶变换（IDFT）转换回时域，以重建原始信号。
• 模型通过掩码自编码目标进行预训练，最小化时域中原始信号与重建信号之间的重建损失。
• 该方法无需数据增强，仅依赖傅里叶域的结构不变性来学习鲁棒表征。
• 预训练模型在下游任务（如 Sleep-EDF 的睡眠阶段分类和 Ninapro 的手势识别）上进行微调，仅使用少量标注数据。
• 该方法在多种掩码比率和预测目标（傅里叶谱 vs. 逆傅里叶重建）下进行评估，展现出鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 对神经生理信号的傅里叶谱进行掩码预测，能否作为有效的自监督预训练目标？
• RQ2 傅里叶域掩码自编码在学习神经生理表征方面，与时空自回归建模相比表现如何？
• RQ3 所提出方法是否优于依赖手工设计数据增强的对比学习方法，在 EEG 和 EMG 信号上表现更优？
• RQ4 在低数据场景下（如仅 1% 或 10% 标注数据），该方法在半监督和迁移学习设置下的有效性如何？

主要发现

• neuro2vec 在下游任务中优于对比学习和自回归掩码自编码（MAE），在睡眠阶段分类任务中准确率最高提升 1.45%，宏 F1 最高提升 2.37%。
• 在 Ninapro 数据集上，neuro2vec 在手指关节角度回归任务中表现最佳，展现出对回归任务的强大泛化能力。
• 在仅使用 1% 标注数据的半监督学习中，neuro2vec 相较于随机初始化提升微调准确率 30.31%，较 MAE 提升 4.93%。
• 该方法在不同掩码比率下表现稳定，当预测逆傅里叶谱时，20–40% 的掩码率表现最优。
• 直接预测傅里叶谱的性能劣于通过 IDFT 重建，表明时域重建更有效。
• 消融研究证实，神经生理信号在时空域中具有信息稀疏性，使得自回归预测效率低下且冗余。