[论文解读] Variable-state Latent Conditional Random Fields for Facial Expression Recognition and Action Unit Detection

Robert Walecki, Ognjen Rudovic+2 more|arXiv (Cornell University)|Oct 13, 2015

Emotion and Mood Recognition参考文献 5被引用 5

一句话总结

本文提出了一种新型模型——可变状态潜在条件随机场（VSL-CRF），该模型根据序列特定的动力学特性，动态选择在面部表情识别和动作单元（AU）检测中使用名义型或序数型潜在状态。通过引入图拉普拉斯后验正则化，该模型在传统L-CRF的基础上提升了泛化能力，在CK+、GEMEP-FERA和DISFA数据集上，无论是表情识别还是逐帧AU检测，均实现了最先进性能。

ABSTRACT

Automated recognition of facial expressions of emotions, and detection of facial action units (AUs), from videos depends critically on modeling of their dynamics. These dynamics are characterized by changes in temporal phases (onset-apex-offset) and intensity of emotion expressions and AUs, the appearance of which may vary considerably among target subjects, making the recognition/detection task very challenging. The state-of-the-art Latent Conditional Random Fields (L-CRF) framework allows one to efficiently encode these dynamics through the latent states accounting for the temporal consistency in emotion expression and ordinal relationships between its intensity levels, these latent states are typically assumed to be either unordered (nominal) or fully ordered (ordinal). Yet, such an approach is often too restrictive. For instance, in the case of AU detection, the goal is to discriminate between the segments of an image sequence in which this AU is active or inactive. While the sequence segments containing activation of the target AU may better be described using ordinal latent states, the inactive segments better be described using unordered (nominal) latent states, as no assumption can be made about their underlying structure (since they can contain either neutral faces or activations of non-target AUs). To address this, we propose the variable-state L-CRF (VSL-CRF) model that automatically selects the optimal latent states for the target image sequence. To reduce the model overfitting either the nominal or ordinal latent states, we propose a novel graph-Laplacian regularization of the latent states. Our experiments on three public expression databases show that the proposed model achieves better generalization performance compared to traditional L-CRFs and other related state-of-the-art models.

研究动机与目标

• 解决现有潜在CRF模型在面部表情与AU检测中固定潜在状态结构（名义型或序数型）的局限性。
• 实现基于数据驱动的每条序列最优潜在状态类型（名义型或序数型）选择，以更好地建模多样的表情动态。
• 通过在潜在状态上引入图拉普拉斯正则化，减少过拟合，提升模型鲁棒性。
• 在基于序列的面部表情识别与逐帧AU检测任务中，实现优于最先进模型的性能。
• 通过适应面部表情的底层时间动态，提升在多样化数据集上的泛化能力。

提出的方法

• 提出可变状态潜在条件随机场（VSL-CRF），其中潜在状态类型（名义型或序数型）根据输入序列的数据驱动优化进行动态选择。
• 引入一种新颖的图拉普拉斯正则化，以约束潜在状态表示，促进平滑性并减少对名义型或序数型结构的过拟合。
• 采用三种学习策略——VSLm、VSLd和VSLem，其在训练过程中对潜在状态类型的优化方式不同，其中VSLem表现最佳。
• 使用类似EM的优化方法结合后验正则化，引导模型根据每条序列选择名义型或序数型状态，提升收敛性与泛化能力。
• 将模型应用于视频序列，利用提取的图像特征，通过编码起始-峰值-结束阶段及强度变化的潜在状态来建模时间动态。
• 利用面部动作编码系统（FACS）作为AU检测的黄金标准，实现对肌肉激活模式的精确建模。

实验结果

研究问题

• RQ1 潜在CRF模型能否动态在名义型与序数型潜在状态之间选择，以更好地捕捉面部表情与AU的时间动态？
• RQ2 结合图拉普拉斯约束的后验正则化是否能提升面部表情与AU检测任务中的泛化能力？
• RQ3 VSL-CRF在多样化面部表情数据集上的性能与传统L-CRF及最先进模型相比如何？
• RQ4 该模型根据每条序列自适应调整潜在状态结构的能力，在识别细微或强度多变的表情方面有多大的提升作用？
• RQ5 该模型能否通过统一框架有效处理表情识别与逐帧AU检测？

主要发现

• VSL-CRF模型在CK+数据集上实现了面部表情识别的最先进性能，优于传统L-CRF及其他SOTA模型。
• 在GEMEP-FERA数据集上，VSL-CRF在后验正则化下实现了69.5%的逐帧AU检测F1分数，较基线模型提升1.6个百分点。
• 在DISFA数据集上，VSL-CRF模型实现了68.7%的AU检测平均F1分数，展现出在多样化数据分布上的强大泛化能力。
• 后验正则化显著提升了模型鲁棒性，使CK+数据集上的F1-序列度量从67.9%提升至69.5%。
• 模型学习到喜悦情绪表现出强烈的序数结构，而其他情绪则更适合用名义型状态建模，证实了潜在状态选择机制的自适应能力。
• 在跨数据集评估中性能显著下降（例如，GEMEP-FERA上从60.2%降至39.2%），凸显了数据集特定建模的重要性，以及模型对分布偏移的适应能力。