[论文解读] Multi-scale multi-modal micro-expression recognition algorithm based on transformer

Fengping Wang, Jie Li+3 more|arXiv (Cornell University)|Jan 8, 2023

Advanced Computing and Algorithms被引用 4

一句话总结

本文提出了一种基于Transformer的多尺度、多模态微表情识别算法，通过多头自注意力机制和跨模态对比学习，在多个空间尺度上融合运动与纹理特征。在SMIC数据集上达到78.73%的准确率，在CASMEII联合数据集上达到0.9071的F1分数，性能达到当前最先进水平。

ABSTRACT

A micro-expression is a spontaneous unconscious facial muscle movement that can reveal the true emotions people attempt to hide. Although manual methods have made good progress and deep learning is gaining prominence. Due to the short duration of micro-expression and different scales of expressed in facial regions, existing algorithms cannot extract multi-modal multi-scale facial region features while taking into account contextual information to learn underlying features. Therefore, in order to solve the above problems, a multi-modal multi-scale algorithm based on transformer network is proposed in this paper, aiming to fully learn local multi-grained features of micro-expressions through two modal features of micro-expressions - motion features and texture features. To obtain local area features of the face at different scales, we learned patch features at different scales for both modalities, and then fused multi-layer multi-headed attention weights to obtain effective features by weighting the patch features, and combined cross-modal contrastive learning for model optimization. We conducted comprehensive experiments on three spontaneous datasets, and the results show the accuracy of the proposed algorithm in single measurement SMIC database is up to 78.73% and the F1 value on CASMEII of the combined database is up to 0.9071, which is at the leading level.

研究动机与目标

• 为解决微表情因持续时间短且面部区域空间尺度多变而难以识别的挑战。
• 通过在运动和纹理模态中捕捉多尺度的细粒度局部特征，提升特征提取能力。
• 通过多头自注意力机制融合多尺度特征，增强表征学习。
• 通过跨模态对比学习优化模型，实现运动与纹理嵌入的对齐。
• 在自发性微表情识别基准上实现最先进性能。

提出的方法

• 该方法采用双流Transformer架构，分别在多个尺度上处理运动与纹理特征。
• 为两种模态在不同分辨率下从面部区域提取分块特征，以捕捉多尺度局部模式。
• 在每种模态上应用多层多头自注意力机制，基于上下文关系对分块特征进行加权聚合。
• 将不同尺度的注意力权重进行融合，生成更具鲁棒性的增强表征。
• 采用跨模态对比学习对齐运动与纹理特征空间，提升泛化能力与表征质量。
• 最终将特征进行融合，并通过端到端训练的分类器头进行分类。

实验结果

研究问题

• RQ1 多尺度、多模态方法是否能通过捕捉不同面部区域的细粒度空间模式，提升微表情识别性能？
• RQ2 基于Transformer的架构在建模微表情序列中的长距离依赖关系与上下文关系方面效果如何？
• RQ3 跨模态对比学习在提升运动与纹理模态间特征对齐方面能发挥多大作用？
• RQ4 所提出方法是否在自发性微表情数据集上优于现有最先进模型？
• RQ5 多尺度分块特征的融合对识别准确率与鲁棒性有何影响？

主要发现

• 所提方法在SMIC自发性微表情数据集上达到78.73%的准确率，优于先前方法。
• 在CASMEII联合数据集上，模型F1分数达到0.9071，展现出在多分类识别任务中的强劲性能。
• 多尺度分块特征的使用显著提升了模型捕捉不同空间分辨率下细微面部动作的能力。
• 跨模态对比学习有助于改善运动与纹理嵌入的对齐，增强特征的可分性。
• 多头自注意力在多尺度上的融合带来了更鲁棒且具备上下文感知能力的特征表征。
• 该模型在基准数据集的多个评估指标上均展现出最先进性能。