[论文解读] Ultra Efficient Transfer Learning with Meta Update for Cross Subject EEG Classification

Tiehang Duan, Mihir Chauhan+3 more|arXiv (Cornell University)|Mar 13, 2020

EEG and Brain-Computer Interfaces参考文献 24被引用 17

一句话总结

该论文提出 MUPS-EEG，一种基于元学习的迁移学习方法，用于跨被试 EEG 分类，可在仅使用极少标注数据的情况下实现对新被试的快速适应，同时保留对先前学习过的被试的知识。通过利用元学习表征和元更新策略，MUPS-EEG 在两个公开 EEG 数据集上实现了最先进性能，准确率最高提升 3.4%，AUC-ROC 最高提升 1.5%。

ABSTRACT

The pattern of Electroencephalogram (EEG) signal differs significantly across different subjects, and poses challenge for EEG classifiers in terms of 1) effectively adapting a learned classifier onto a new subject, 2) retaining knowledge of known subjects after the adaptation. We propose an efficient transfer learning method, named Meta UPdate Strategy (MUPS-EEG), for continuous EEG classification across different subjects. The model learns effective representations with meta update which accelerates adaptation on new subject and mitigate forgetting of knowledge on previous subjects at the same time. The proposed mechanism originates from meta learning and works to 1) find feature representation that is broadly suitable for different subjects, 2) maximizes sensitivity of loss function for fast adaptation on new subject. The method can be applied to all deep learning oriented models. Extensive experiments on two public datasets demonstrate the effectiveness of the proposed model, outperforming current state of the arts by a large margin in terms of both adapting on new subject and retain knowledge of learned subjects.

研究动机与目标

• 解决脑-机接口（BCI）系统中跨被试 EEG 模式显著差异的挑战。
• 实现在仅使用极少标注数据的情况下，对新出现的、未见过的被试实现快速且准确的 EEG 分类器适应。
• 在适应新被试的过程中，防止对先前学习过的被试知识造成灾难性遗忘。
• 开发一种可泛化且计算高效的迁移学习框架，适用于任何基于深度学习的 EEG 分类器。
• 通过提升跨被试泛化能力，促进 BCI 系统在动态被试变化场景下的实际部署。

提出的方法

• 该方法采用两阶段元学习框架：在源被试上进行元表征学习，在目标被试上进行元适应。
• 元表征学习从多个源被试中提取通用且与被试无关的特征，以提升泛化能力。
• 元适应通过在目标被试数据上进行少量梯度更新，快速微调模型，同时保留对源被试的知识。
• 元更新机制通过最大化损失函数对新数据上小更新的敏感度，实现对快速适应的优化。
• 该方法与模型无关，可应用于任何用于 EEG 分类的深度学习架构。
• 优化过程被形式化为分层贝叶斯推断问题，通过近似元参数的后验分布，实现适应与知识保留之间的平衡。

实验结果

研究问题

• RQ1 元学习方法是否能显著减少有效跨被试 EEG 分类所需的标注目标数据量？
• RQ2 模型在适应新被试的同时，能否良好保留对先前学习过的被试的知识？
• RQ3 元学习表征学习是否能提升在跨被试多样化 EEG 信号模式下的泛化能力？
• RQ4 所提出的元更新策略在准确率和鲁棒性方面，与经典迁移学习和领域自适应方法相比表现如何？
• RQ5 实现收敛和最优性能所需的最少目标被试数据量是多少？

主要发现

• 在 BCI IV-2a 数据集上，MUPS-EEG 的准确率至少高出最先进方法 2.2%，AUC-ROC 至少高出 1.3%。
• 在 DEAP 数据集上，MUPS-EEG 在准确率上至少优于所有基线方法 3.4%，在 AUC-ROC 上至少高出 1.5%。
• MUPS-EEG 在 BCI IV-2a 数据集上对 9 名被试中的 7 名实现了超过 70% 的准确率，达到实际 BCI 应用的阈值。
• 该模型表现出更优的知识保留能力，在 BCI IV-2a 数据集上，对源被试的平均准确率高出基线 1.6%，平均 AUC-ROC 高出 0.5%。
• 在更具挑战性的 DEAP 数据集上，MUPS-EEG 相较于次优方法，平均准确率提升 2.6%，平均 AUC-ROC 提升 0.7%。
• 性能在仅使用 2 分钟目标数据（BCI IV-2a）和 5 分钟目标数据（DEAP）时即实现收敛，表明其具有极高的数据效率。