[论文解读] Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions

Zhaoqiang Xia, Xiaopeng Hong+3 more|arXiv (Cornell University)|Jan 15, 2019

Human Pose and Action Recognition参考文献 56被引用 17

一句话总结

本文提出时空循环卷积网络（STRCN）以通过两种类型的时序连接——基于外观的（STRCN-A）和基于几何的（STRCN-G）——建模空间-时序形变，实现自发微表情的自动识别。该方法结合时序数据增强和平衡损失函数，以应对训练数据有限且不平衡的问题，在三个基准数据集上达到最先进性能，其中STRCN-A在留一视频测试协议下表现最优，STRCN-G在留一说话人测试协议下表现最佳。

ABSTRACT

Recently, the recognition task of spontaneous facial micro-expressions has attracted much attention with its various real-world applications. Plenty of handcrafted or learned features have been employed for a variety of classifiers and achieved promising performances for recognizing micro-expressions. However, the micro-expression recognition is still challenging due to the subtle spatiotemporal changes of micro-expressions. To exploit the merits of deep learning, we propose a novel deep recurrent convolutional networks based micro-expression recognition approach, capturing the spatial-temporal deformations of micro-expression sequence. Specifically, the proposed deep model is constituted of several recurrent convolutional layers for extracting visual features and a classificatory layer for recognition. It is optimized by an end-to-end manner and obviates manual feature design. To handle sequential data, we exploit two types of extending the connectivity of convolutional networks across temporal domain, in which the spatiotemporal deformations are modeled in views of facial appearance and geometry separately. Besides, to overcome the shortcomings of limited and imbalanced training samples, temporal data augmentation strategies as well as a balanced loss are jointly used for our deep network. By performing the experiments on three spontaneous micro-expression datasets, we verify the effectiveness of our proposed micro-expression recognition approach compared to the state-of-the-art methods.

研究动机与目标

• 为解决由于持续时间短暂和细微时空变化导致的自发微表情识别挑战。
• 克服手工设计特征与浅层分类器在捕捉微表情形变方面的局限性。
• 开发一种深度学习框架，自动学习时空特征而无需人工设计。
• 缓解因微表情训练样本有限且不平衡导致的性能下降问题。
• 通过端到端训练结合时序连接与鲁棒损失函数，提升识别准确率。

提出的方法

• 提出两种时空循环卷积网络变体：STRCN-A用于外观建模，STRCN-G用于通过光流实现几何运动建模。
• 通过循环连接扩展卷积网络在时间维度上的连接，以建模序列中动态的面部变化。
• 利用时序数据增强技术，通过生成合成视频序列来增加有效训练样本数量。
• 引入平衡损失函数，以缓解类别分布不均导致的数据集类别不平衡问题。
• 采用端到端训练策略，联合优化特征提取与分类过程，无需人工特征工程。
• 通过特征图扩展与循环层堆叠提升表征能力，同时监控过拟合风险。

实验结果

研究问题

• RQ1 循环卷积网络能否有效建模自发微表情中细微的时空形变？
• RQ2 基于外观的（STRCN-A）与基于几何的（STRCN-G）时序连接方式对识别性能有何影响？
• RQ3 时序数据增强与平衡损失在小样本、类别不平衡数据集上的泛化能力提升程度如何？
• RQ4 在性能与计算成本之间取得平衡时，最优的循环层数与特征图数量是多少？
• RQ5 在留一视频测试与留一说话人测试两种评估协议下，所提模型与最先进方法相比表现如何？

主要发现

• 在SMIC数据集的留一视频测试（LOVO）协议下，STRCN-A达到88.9%的最高准确率，优于先前最先进方法。
• 在CASME II数据集的留一说话人测试（LOSO）协议下，STRCN-G实现86.7%的最佳性能，展现出对未见受试者的优越泛化能力。
• 时序数据增强与平衡损失的结合在所有三个数据集上均带来一致的性能提升，尤其在资源受限场景下效果显著。
• 当通过百分位数掩码丢弃过多像素（p < 0.5）时性能下降，表明在中等p值下实现最优的微表情感知区域选择。
• 增加特征图数量可提升识别准确率，但达到约64张/层后收益递减，趋于饱和。
• 在SMIC数据集上，超过四层循环层导致性能下降，表明模型深度需根据数据可用性进行约束。