[论文解读] Transfer Learning for Brain-Computer Interfaces: A Complete Pipeline

Dongrui Wu, Ruimin Peng+2 more|arXiv (Cornell University)|Jul 3, 2020

EEG and Brain-Computer Interfaces参考文献 33被引用 4

一句话总结

本文提出了一种完整的脑电图（EEG）基脑-计算机接口（BCI）迁移学习（TL）流程，整合了信号处理、特征工程和分类/回归中的迁移学习，并在信号处理前引入了一种新颖的数据对齐步骤，以提高跨被试的一致性。该方法显著减少了校准工作量，在离线实验中显示，当数据对齐与高级迁移学习结合时，性能有显著提升。

ABSTRACT

Transfer learning (TL) has been widely used in electroencephalogram (EEG) based brain-computer interfaces (BCIs) to reduce the calibration effort for a new subject, and demonstrated promising performance. After EEG signal acquisition, a closed-loop EEG-based BCI system also includes signal processing, feature engineering, and classification/regression blocks before sending out the control signal, whereas previous approaches only considered TL in one or two such components. This paper proposes that TL could be considered in all three components (signal processing, feature engineering, and classification/regression). Furthermore, it is also very important to specifically add a data alignment component before signal processing to make the data from different subjects more consistent, and hence to facilitate subsequential TL. Offline calibration experiments on two MI datasets verified our proposal. Especially, integrating data alignment and sophisticated TL approaches can significantly improve the classification performance, and hence greatly reduce the calibration effort.

研究动机与目标

• 通过在多个处理阶段利用迁移学习，减少EEG基BCI系统中的校准工作量。
• 通过在信号处理前引入专门的数据对齐组件，解决EEG信号中的跨被试差异性问题。
• 系统性地评估迁移学习在信号处理、特征工程和分类模块中的影响。
• 证明将数据对齐与复杂迁移学习方法结合可显著提升分类性能。

提出的方法

• 在信号处理前引入数据对齐组件，以对齐不同被试的EEG信号，提升特征一致性。
• 在信号处理阶段应用迁移学习，通过将源被试的预训练滤波器或表征迁移至目标被试来实现。
• 在特征工程中实施迁移学习，将源被试学习到的空间或时间特征迁移至目标被试。
• 在分类/回归中使用迁移学习，通过微调在源被试上训练的模型以适应新的目标被试。
• 设计一个完整的端到端流程，整合信号处理、特征工程和分类三个阶段的迁移学习。
• 使用两个运动想象（MI）EEG数据集的离线校准实验验证该流程。

实验结果

研究问题

• RQ1 与仅在一个或两个阶段应用迁移学习相比，将迁移学习整合到所有三个阶段（信号处理、特征工程和分类）对BCI性能有何影响？
• RQ2 在信号处理前增加数据对齐步骤，对后续迁移学习效果有何影响？
• RQ3 将数据对齐与先进迁移学习技术结合，能否显著减少EEG基BCI中的校准工作量？
• RQ4 流程中不同迁移学习策略的组合如何影响新被试的分类准确率？
• RQ5 各组件（数据对齐、信号处理中的TL、特征工程中的TL和分类中的TL）对整体性能提升的相对贡献是什么？

主要发现

• 将数据对齐与多阶段高级迁移学习整合，显著提升了在新被试上的分类性能。
• 在信号处理前进行数据对齐能有效降低跨被试差异性，从而提升迁移学习的有效性。
• 在信号处理、特征工程和分类三个组件中同时应用迁移学习，性能优于仅在一个或两个组件中应用迁移学习。
• 所提出的完整流程通过离线实验中分类准确率的提升，证明可显著减少新被试的校准时间。
• 数据对齐与多阶段迁移学习的结合优于基线方法，后者仅单独使用迁移学习或缺乏对齐步骤。