[论文解读] Transferring Dual Stochastic Graph Convolutional Network for Facial Micro-expression Recognition

Hui Tang, Li Chai+1 more|arXiv (Cornell University)|Mar 10, 2022

Advanced Computing and Algorithms被引用 6

一句话总结

本文提出了一种用于面部微表情识别的迁移双随机图卷积网络（TDSGCN），通过随机图构建与双GCN架构，从有限数据中提取鲁棒的空间与时间特征。通过结合宏表情数据的迁移学习与焦点损失以解决类别不平衡问题，该方法在SAMM（75.0%准确率）和MMEW（72.7%准确率）上取得了最先进性能。

ABSTRACT

Micro-expression recognition has drawn increasing attention due to its wide application in lie detection, criminal detection and psychological consultation. To improve the recognition performance of the small micro-expression data, this paper presents a transferring dual stochastic Graph Convolutional Network (TDSGCN) model. We propose a stochastic graph construction method and dual graph convolutional network to extract more discriminative features from the micro-expression images. We use transfer learning to pre-train SGCNs from macro expression data. Optical flow algorithm is also integrated to extract their temporal features. We fuse both spatial and temporal features to improve the recognition performance. To the best of our knowledge, this is the first attempt to utilize the transferring learning and graph convolutional network in micro-expression recognition task. In addition, to handle the class imbalance problem of dataset, we focus on the design of focal loss function. Through extensive evaluation, our proposed method achieves state-of-the-art performance on SAMM and recently released MMEW benchmarks. Our code will be publicly available accompanying this paper.

研究动机与目标

• 解决微表情数据集样本少、质量低、持续时间短的挑战。
• 通过图结构建模面部几何，克服基于像素的特征提取局限。
• 通过结合最近邻与随机采样的新颖随机图构建方法，提升特征判别能力。
• 利用宏表情数据的迁移学习预训练GCN，提升在小样本微表情数据集上的性能。
• 通过自定义焦点损失函数缓解微表情数据集中类别不平衡问题。

提出的方法

• 提出一种随机$p+q$图构建方法，其中每个节点连接至$p$个最近邻与$q$个随机选择的邻居，以降低冗余与计算成本。
• 设计一种双图卷积网络（DGCN），包含独立的空间与时间分支，用于从面部图像与光流序列中提取互补特征。
• 通过在大型宏表情数据集上预训练SGCN，再在微表情数据上微调，实现迁移学习。
• 整合光流特征以捕捉微表情序列中的时间动态。
• 采用焦点损失函数，降低易分类样本的权重，提升对罕见类别的学习效果。
• 融合双GCN分支提取的空间与时间特征，用于最终分类。

实验结果

研究问题

• RQ1 随机图构建方法是否能在降低计算成本的同时提升微表情识别中的特征表示能力？
• RQ2 双GCN架构是否在捕捉微表情的判别性空间与时间特征方面优于单GCN？
• RQ3 从宏表情数据迁移学习是否能显著提升小样本微表情数据集上的识别准确率？
• RQ4 焦点损失在多大程度上缓解了微表情基准中因类别不平衡导致的性能下降？
• RQ5 在时间内容各异的数据集中，空间分支与时间分支对识别性能的贡献有何差异？

主要发现

• 所提出的TDSGCN模型在SAMM基准上达到75.0%的识别准确率，优于以往最先进方法。
• 在MMEW基准上，模型采用8+2与4+0图架构并结合焦点损失，准确率达到72.7%，超越现有方法。
• 双GCN架构在两个数据集上均持续优于单GCN变体，其中8+2与4+0配置表现最佳。
• 基于光流的时间特征在MMEW上提升性能（该数据集运动更复杂），但在SAMM上无显著提升（该数据集运动变化较小）。
• 焦点损失显著优于交叉熵损失，尤其在处理类别不平衡分布时表现更优。
• 消融实验表明，空间分支的贡献大于时间分支，尤其在SAMM上，时间动态信息较弱。