[论文解读] Transfer Learning for Motor Imagery Based Brain-Computer Interfaces: A Complete Pipeline

Dongrui Wu, Xue Jiang+4 more|arXiv (Cornell University)|Jul 3, 2020

EEG and Brain-Computer Interfaces参考文献 51被引用 4

一句话总结

本文提出了一套完整的运动想象脑-计算机接口（BCI）迁移学习（TL）流程，整合了所有关键组件的迁移学习——数据对齐、空间滤波、特征工程和分类，证明将数据对齐与多组件TL结合可显著提升分类准确率，并在跨被试和跨会话设置下减少校准工作量。

ABSTRACT

Transfer learning (TL) has been widely used in motor imagery (MI) based brain-computer interfaces (BCIs) to reduce the calibration effort for a new subject, and demonstrated promising performance. While a closed-loop MI-based BCI system, after electroencephalogram (EEG) signal acquisition and temporal filtering, includes spatial filtering, feature engineering, and classification blocks before sending out the control signal to an external device, previous approaches only considered TL in one or two such components. This paper proposes that TL could be considered in all three components (spatial filtering, feature engineering, and classification) of MI-based BCIs. Furthermore, it is also very important to specifically add a data alignment component before spatial filtering to make the data from different subjects more consistent, and hence to facilitate subsequential TL. Offline calibration experiments on two MI datasets verified our proposal. Especially, integrating data alignment and sophisticated TL approaches can significantly improve the classification performance, and hence greatly reduces the calibration effort.

研究动机与目标

• 为解决由于个体EEG差异性和非平稳性导致的运动想象BCI中高校准负担问题。
• 克服以往TL方法仅将迁移学习应用于BCI流程中一个或两个组件的局限性。
• 提出并验证一个全面的TL框架，实现迁移学习在所有主要处理阶段的整合：数据对齐、空间滤波、特征工程和分类。
• 研究在TL之前显式添加数据对齐作为预处理步骤的影响，以提升跨被试之间的域一致性。
• 评估多组件TL在跨被试和跨会话BCI场景下的性能。

提出的方法

• 引入一种新颖的数据对齐步骤，采用欧几里得对齐（EA）在空间滤波前减少源域与目标域EEG试验之间的分布差异。
• 在空间滤波中应用迁移学习，采用CCSP和RCSP等方法，结合TL增强的空间滤波器。
• 通过利用领域自适应的特征选择与提取技术，将TL整合到特征工程中。
• 在分类中应用TL，采用LDA、CLDA和wAR等算法，并引入正则化适应策略以提升在有限标注目标数据上的泛化能力。
• 设计了一个完整流程（图2），在所有阶段系统性地应用TL：时域滤波、数据对齐、空间滤波、特征工程和分类。
• 通过在两个MI EEG数据集上进行离线的跨被试和跨会话实验，验证该流程。

实验结果

研究问题

• RQ1 迁移学习能否有效应用于运动想象BCI流程的所有主要组件，包括数据对齐、空间滤波、特征工程和分类？
• RQ2 在空间滤波前显式添加数据对齐步骤，如何影响后续迁移学习在BCI中的性能？
• RQ3 在多个组件中整合迁移学习是否能获得比仅在单个或两个组件中应用TL更好的分类性能？
• RQ4 与CSP-LDA等传统方法相比，所提出的流程在准确率和校准效率方面表现如何？
• RQ5 所提出的TL流程在跨被试和跨会话BCI应用中，能在多大程度上减少校准工作量？

主要发现

• 所提出的完整TL流程，特别是在将数据对齐与空间滤波及分类中的TL结合时，在跨会话评估中于数据集2a上实现了75.56% ± 0.05的最高平均分类准确率。
• EA-CCSP-wAR方法（整合了数据对齐与空间滤波及分类中的TL）优于所有其他方法，在CSP-LDA基线基础上实现了21.29%的性能提升。
• 数据对齐显著提升了TL性能：所有采用数据对齐的方法均优于其无对齐的对应方法，证实了其在提升域一致性方面的重要作用。
• 在多个组件中整合TL具有互补性，多组件TL在两个数据集和所有评估场景中均持续优于单组件TL。
• 即使在非平稳被试中，所提出的流程仍保持了稳健性能，表明其在处理会话间EEG信号变异方面的有效性。
• 结果表明，TL不仅在跨被试BCI中有效，而且在跨会话BCI应用中也极为有效，显著减少了对长时间校准的需求。