[论文解读] Toward the application of XAI methods in EEG-based systems

Andrea Apicella, Francesco Isgrò+2 more|arXiv (Cornell University)|Oct 12, 2022

EEG and Brain-Computer Interfaces被引用 10

一句话总结

本文研究了可解释人工智能（XAI）方法是否能通过识别跨会话中一致且相关的信号分量来缓解基于EEG的脑机接口（BCI）中的数据集偏移问题。在情绪识别数据集上应用LRP、集成梯度（IG）和DeepLIFT方法，发现样本特定的XAI解释在分类任务中极为有效，但平均相关性得分无法泛化，表明需要采用会话感知的特征选择方法，以提升BCI系统在跨会话场景下的泛化能力。

ABSTRACT

An interesting case of the well-known Dataset Shift Problem is the classification of Electroencephalogram (EEG) signals in the context of Brain-Computer Interface (BCI). The non-stationarity of EEG signals can lead to poor generalisation performance in BCI classification systems used in different sessions, also from the same subject. In this paper, we start from the hypothesis that the Dataset Shift problem can be alleviated by exploiting suitable eXplainable Artificial Intelligence (XAI) methods to locate and transform the relevant characteristics of the input for the goal of classification. In particular, we focus on an experimental analysis of explanations produced by several XAI methods on an ML system trained on a typical EEG dataset for emotion recognition. Results show that many relevant components found by XAI methods are shared across the sessions and can be used to build a system able to generalise better. However, relevant components of the input signal also appear to be highly dependent on the input itself.

研究动机与目标

• 为解决基于EEG的BCI系统中的跨会话数据集偏移问题，该问题由信号非平稳性导致模型泛化能力下降。
• 评估XAI方法是否能识别跨不同会话的稳定且相关的EEG特征，以提升模型鲁棒性。
• 探究XAI生成的相关性得分是否能指导特征选择，从而在标准训练数据分布之外实现更好的泛化。
• 确定XAI解释在不同会话之间是否具有一致性，或高度依赖于样本，从而影响模型的可迁移性。

提出的方法

• 在预训练的基于EEG的情绪识别模型上应用多种XAI方法——显著性（Saliency）、引导反向传播（Guided Backpropagation）、LRP、集成梯度（IG）和DeepLIFT。
• 使用均值有序相关性展平（MoRF）曲线评估XAI解释的可靠性，通过按相关性递减顺序逐步移除特征并测量性能下降程度。
• 比较会话内与会话间数据的解释结果，以评估所识别特征的一致性和泛化潜力。
• 使用MeRF、AOPC和ABPC指标评估特征重要性，以验证排名靠前的组件的判别能力。
• 基于XAI得分仅保留每个样本中最相关分量，构建简化输入信号，并测试其分类性能。
• 分析训练集中平均相关性得分，以评估是否存在一组单一、共享的特征可泛化于所有输入。

实验结果

研究问题

• RQ1 XAI方法能否在不同会话中识别出一致且相关的EEG分量，从而缓解BCI系统中的数据集偏移问题？
• RQ2 XAI解释的可靠性和一致性在会话内与会话间数据中如何变化？
• RQ3 当使用平均相关性得分时，XAI生成的特征排序在不同EEG样本间的泛化程度如何，尤其在跨会话场景下？
• RQ4 XAI方法为每个样本识别出的最相关分量，若单独使用，是否能维持高分类性能？
• RQ5 与随机或非信息性特征选择相比，使用XAI解释是否能提升跨会话EEG分类中的模型泛化能力？

主要发现

• 与显著性和引导反向传播相比，LRP、集成梯度（IG）和DeepLIFT生成的XAI解释更可靠且更一致，后者常无法识别出相关的EEG分量。
• 出人意料的是，会话间解释的可靠性高于会话内解释，这可能是由于模型在跨会话场景下对微小输入扰动更敏感所致。
• 在训练过程中使用平均相关性得分时，XAI方法未能识别出一组可泛化于所有样本的稳定相关特征。
• 当按平均相关性顺序逐步移除特征时，性能显著下降（MoRF曲线中橙色曲线），表明平均相关性无法反映实际的判别能力。
• 当仅使用每个样本中基于XAI得分的最相关分量时，分类性能保持较高水平，表明样本特定的解释极为有效。
• 平均相关性在MoRF、MeRF、AOPC和ABPC曲线与随机基线重叠，表明此类得分对特征选择无实际指导意义，而样本特定的相关性则具有显著区分能力。