[论文解读] SMA-STN: Segmented Movement-Attending Spatiotemporal Network forMicro-Expression Recognition

Jiateng Liu, Wenming Zheng+1 more|arXiv (Cornell University)|Oct 19, 2020

Human Pose and Action Recognition参考文献 30被引用 7

一句话总结

该论文提出SMA-STN，一种新颖的时空网络，结合动态分段稀疏成像模块（DSSI）与分段运动注意力模块（STMA），通过捕捉细微运动变化并强调关键时间片段，提升微表情识别（MER）性能。该方法在SMIC-HS数据集上达到77.44%的准确率与0.7683的F1分数，性能显著优于先前方法，得益于偏差增强损失（DE-Loss），该损失通过放大微级别运动差异，提升模型对细微运动变化的敏感性。

ABSTRACT

Correctly perceiving micro-expression is difficult since micro-expression is an involuntary, repressed, and subtle facial expression, and efficiently revealing the subtle movement changes and capturing the significant segments in a micro-expression sequence is the key to micro-expression recognition (MER). To handle the crucial issue, in this paper, we firstly propose a dynamic segmented sparse imaging module (DSSI) to compute dynamic images as local-global spatiotemporal descriptors under a unique sampling protocol, which reveals the subtle movement changes visually in an efficient way. Secondly, a segmented movement-attending spatiotemporal network (SMA-STN) is proposed to further unveil imperceptible small movement changes, which utilizes a spatiotemporal movement-attending module (STMA) to capture long-distance spatial relation for facial expression and weigh temporal segments. Besides, a deviation enhancement loss (DE-Loss) is embedded in the SMA-STN to enhance the robustness of SMA-STN to subtle movement changes in feature level. Extensive experiments on three widely used benchmarks, i.e., CASME II, SAMM, and SHIC, show that the proposed SMA-STN achieves better MER performance than other state-of-the-art methods, which proves that the proposed method is effective to handle the challenging MER problem.

研究动机与目标

• 为解决微表情因持续时间短、强度低且帧间相似度高而难以识别的挑战。
• 在微表情序列中减少相邻帧相似性带来的冗余，同时保留关键运动信息。
• 构建一个鲁棒的深度学习框架，有效捕捉长程空间依赖性，并对关键时间片段进行加权。
• 通过新型损失函数增强特征层面对于细微运动变化的鲁棒性。

提出的方法

• 提出动态分段稀疏成像（DSSI）模块，依据独特协议从微表情序列中采样四个不同片段，并计算动态图像以表征时空运动模式。
• 引入基于CNN主干网络的分段运动注意力时空网络（SMA-STN），并结合时空运动注意力（STMA）模块，学习空间区域与时间片段之间的注意力权重。
• 在STMA中采用双注意力机制：全局自注意力模块用于建模序列级上下文，非局部自注意力模块用于捕捉面部区域间的长程空间依赖性。
• 引入偏差增强损失（DE-Loss），通过最大化不同片段间特征的欧氏距离，正则化特征表示，提升对细微运动差异的敏感性。
• 在训练过程中使用权衡系数λ平衡交叉熵损失与DE-Loss，同时优化分类准确率与运动区分能力。
• 在DSSI中应用独特采样协议，每条序列生成四组三帧动态图像，实现高效且具代表性的时空特征提取。

实验结果

研究问题

• RQ1 如何高效采样微表情序列，以减少冗余同时保留关键运动动态？
• RQ2 双注意力机制能否有效建模微表情序列中的长程空间与时间依赖性？
• RQ3 新型损失函数在多大程度上可增强网络对不同片段间细微运动变化的区分能力？
• RQ4 所提出的组件——DSSI、STMA与DE-Loss——如何协同提升MER性能？
• RQ5 通过DE-Loss超参数λ，可在分类与运动增强之间实现何种最优权衡？

主要发现

• SMA-STN在SMIC-HS数据集上实现77.44%的识别准确率与0.7683的F1分数，较先前最先进方法TSCNN-I在准确率上提升4.70个百分点，F1分数提升0.0447。
• 消融实验表明，STMA与DE-Loss模块均显著提升性能，完整模型（实验4）达到77.44%准确率，较基线模型（实验1）提升3.66个百分点。
• 在SMIC-HS数据集上，DE-Loss的最优权衡参数λ为0.03，能有效平衡运动区分能力与分类性能。
• 注意力权重（α）的可视化显示，SMA-STN成功为包含更多细微运动信息的动态图像分配更高重要性，证实其聚焦显著时间片段的能力。
• DE-Loss函数有效放大不同片段间的特征差异，提升特征空间对微级别运动变化的鲁棒性。
• 在CASME II、SAMM与SMIC三个基准数据集上的大量实验表明，SMA-STN在准确率与F1分数上均持续优于现有最先进方法。