[论文解读] TACOformer:Token-channel compounded Cross Attention for Multimodal Emotion Recognition

Xinda Li|arXiv (Cornell University)|Jun 23, 2023

EEG and Brain-Computer Interfaces被引用 6

一句话总结

该论文提出TACOformer，一种新颖的多模态融合框架，通过整合令牌级与通道级交叉注意力机制，提升从生理信号中识别情绪的性能。通过结合二维空间位置编码与双流Transformer模型处理EEG和外周信号，TACOformer在DEAP和DREAMER数据集上实现了最先进（SOTA）的性能，显著优于现有方法。

ABSTRACT

Recently, emotion recognition based on physiological signals has emerged as a field with intensive research. The utilization of multi-modal, multi-channel physiological signals has significantly improved the performance of emotion recognition systems, due to their complementarity. However, effectively integrating emotion-related semantic information from different modalities and capturing inter-modal dependencies remains a challenging issue. Many existing multimodal fusion methods ignore either token-to-token or channel-to-channel correlations of multichannel signals from different modalities, which limits the classification capability of the models to some extent. In this paper, we propose a comprehensive perspective of multimodal fusion that integrates channel-level and token-level cross-modal interactions. Specifically, we introduce a unified cross attention module called Token-chAnnel COmpound (TACO) Cross Attention to perform multimodal fusion, which simultaneously models channel-level and token-level dependencies between modalities. Additionally, we propose a 2D position encoding method to preserve information about the spatial distribution of EEG signal channels, then we use two transformer encoders ahead of the fusion module to capture long-term temporal dependencies from the EEG signal and the peripheral physiological signal, respectively. Subject-independent experiments on emotional dataset DEAP and Dreamer demonstrate that the proposed model achieves state-of-the-art performance.

研究动机与目标

• 为解决现有多模态融合方法仅关注令牌级或通道级交互，而无法同时兼顾两者的问题。
• 通过捕捉生理信号在时间（令牌）和空间（通道）维度上的互补模态依赖关系，提升情绪识别的准确性。
• 通过一种新颖的二维位置编码方案，保留EEG电极的空间分布信息。
• 开发一种可泛化的融合模块，适用于情绪识别之外的多模态多变量时间序列任务。

提出的方法

• 提出Token-chAnnel COmpound（TACO）交叉注意力模块，通过统一的注意力机制，联合建模跨模态在令牌与通道两个层面的交互。
• 采用两个独立的视觉Transformer编码器，从EEG和外周生理信号（如ECG、EMG、EOG、GSR）中提取长期时间依赖性。
• 应用二维位置编码方法，编码EEG电极的空间排列，以保留对脑电信号解释至关重要的拓扑信息。
• 使用联合注意力机制，在时间步长（令牌）和信号通道之间同时计算注意力分数，实现整体特征融合。
• 在DEAP和DREAMER数据集上采用5折交叉验证进行受试者独立评估，以确保结果的稳健性。
• 通过消融研究和统计t检验，验证各组件（包括TACO注意力和二维位置编码）的贡献。

实验结果

研究问题

• RQ1 能否通过统一的交叉注意力机制，同时建模令牌级与通道级交互，从而提升多模态情绪识别性能？
• RQ2 与标准的一维位置编码相比，将二维空间位置编码引入EEG信号是否能带来性能提升？
• RQ3 所提出的TACO交叉注意力相较于独立的令牌级（TCA）或通道级（CCA）交叉注意力，在性能与特征表示方面表现如何？
• RQ4 TACO模块带来的性能提升在多个评估指标上是否具有统计显著性？

主要发现

• 在DEAP数据集中，TACOformer在愉悦度上达到91.59%的准确率，在唤醒度上达到92.02%，显著优于所有基线方法，包括DCCA、FLDNET和GA-MLP。
• 在DREAMER数据集中，TACOformer在愉悦度上达到94.58%，在唤醒度上达到94.03%，展现出在受试者独立设置下的优越泛化能力。
• 消融研究证实，TACO交叉注意力模块显著优于拼接、TCA和异构注意力（CCA），在愉悦度准确率上较CCA高出2.8个百分点的绝对提升。
• 与一维位置编码相比，二维位置编码在愉悦度上提升2.25%，在唤醒度上提升2.10%，证明其在保留空间拓扑结构方面的有效性。
• 配对t检验显示，与TCA和异构注意力（CCA）相比，TACO在多个评估指标上均表现出统计显著性提升（p < 0.05），证实了所提方法的稳健性。
• 注意力矩阵的可视化结果表明，TACO在时间与通道两个维度上均分配了多样化注意力分数，而TCA与CCA则在某一维度上表现出重复性模式。