[论文解读] OFF-ApexNet on Micro-expression Recognition System

Sze‐Teng Liong, Y.S. Gan+3 more|arXiv (Cornell University)|May 10, 2018

Emotion and Mood Recognition参考文献 3被引用 5

一句话总结

本文提出了一种名为 OFF-ApexNet 的新型基于卷积神经网络（CNN）的微表情识别框架，通过从峰值帧和参考起始帧中提取光流特征，增强运动表征能力。通过将水平和垂直光流输入融合至预训练的卷积神经网络，该方法在多数据库、一对一受试者留出交叉验证中实现了 74.60% 的准确率和 71.04% 的 F1 值，标志着首次在 SMIC、CASME II 和 SAMM 数据集之间实现跨数据集验证。

ABSTRACT

When a person attempts to conceal an emotion, the genuine emotion is manifest as a micro-expression. Exploration of automatic facial micro-expression recognition systems is relatively new in the computer vision domain. This is due to the difficulty in implementing optimal feature extraction methods to cope with the subtlety and brief motion characteristics of the expression. Most of the existing approaches extract the subtle facial movements based on hand-crafted features. In this paper, we address the micro-expression recognition task with a convolutional neural network (CNN) architecture, which well integrates the features extracted from each video. A new feature descriptor, Optical Flow Features from Apex frame Network (OFF-ApexNet) is introduced. This feature descriptor combines the optical ow guided context with the CNN. Firstly, we obtain the location of the apex frame from each video sequence as it portrays the highest intensity of facial motion among all frames. Then, the optical ow information are attained from the apex frame and a reference frame (i.e., onset frame). Finally, the optical flow features are fed into a pre-designed CNN model for further feature enhancement as well as to carry out the expression classification. To evaluate the effectiveness of OFF-ApexNet, comprehensive evaluations are conducted on three public spontaneous micro-expression datasets (i.e., SMIC, CASME II and SAMM). The promising recognition result suggests that the proposed method can optimally describe the significant micro-expression details. In particular, we report that, in a multi-database with leave-one-subject-out cross-validation experimental protocol, the recognition performance reaches 74.60% of recognition accuracy and F-measure of 71.04%. We also note that this is the first work that performs cross-dataset validation on three databases in this domain.

研究动机与目标

• 为解决由于强度低、持续时间短而难以检测的细微、短暂微表情识别挑战。
• 通过将光流与深度学习结合，克服现有方法中手工设计特征的局限性，实现更优的运动表征。
• 开发一种统一框架，实现对多个自发性微表情数据库的跨数据集泛化能力。
• 通过聚焦于包含最高面部运动强度的峰值帧，提升分类性能。
• 建立微表情识别中跨数据集评估的基准，此前该领域尚无相关研究。

提出的方法

• 通过逐帧运动能量计算，识别每个视频序列中的峰值帧，即面部运动强度最大的帧。
• 在峰值帧与参考起始帧之间计算水平（u）和垂直（v）光流分量，以捕捉运动动态。
• 将 u 和 v 光流特征融合为单个输入张量，以保留时空运动上下文信息。
• 将融合后的光流特征输入预设计的卷积神经网络（CNN），实现分层特征学习与表情分类。
• 使用交叉熵损失和随机梯度下降，端到端训练 CNN，优化六种情绪的多分类任务。
• 采用一对一受试者留出交叉验证，在三个公开数据集（SMIC、CASME II 和 SAMM）上评估性能。

实验结果

研究问题

• RQ1 与传统手工设计特征相比，从峰值帧提取的光流特征是否能提升微表情识别准确率？
• RQ2 融合水平和垂直光流分量是否能增强运动表征并提升分类性能？
• RQ3 所提出的 OFF-ApexNet 模型是否能在无需领域特定微调的情况下，泛化至多个自发性微表情数据库？
• RQ4 在多数据库交叉验证中，达到最佳性能的最优训练轮次是多少？
• RQ5 在类别不平衡的数据集中，模型对代表性不足的情绪类别（如惊讶）的性能如何？

主要发现

• 在采用一对一受试者留出协议对 SMIC、CASME II 和 SAMM 三个数据库进行联合训练与测试时，OFF-ApexNet 实现了 74.60% 的识别准确率和 71.04% 的 F1 值。
• 与单一光流分量输入（u 或 v）相比，该模型表现更优，其中 u+v 融合在 3000 轮时达到 74.60% 的准确率，而 u 单独使用为 66.21%，v 单独使用为 65.31%。
• 在 3000 轮时达到最高准确率（74.60%），在 4000 和 5000 轮时性能略有下降，表明在此之后可能出现过拟合。
• 负面情绪的预测率最高（联合混淆矩阵中为 84%），归因于其在所有三个数据集的训练数据中占主导地位。
• 在 SAMM 数据集中，模型对“惊讶”类别的准确率为 47%，为所有类别中最低，表明识别细微或强度较低的表情仍具挑战性。
• 本研究首次实现了在 SMIC、CASME II 和 SAMM 之间的跨数据集验证，为微表情识别中的泛化能力设立了新基准。