[论文解读] SenTion: A framework for Sensing Facial Expressions

Rahul Islam, Karan Ahuja+2 more|arXiv (Cornell University)|Aug 16, 2016

Emotion and Mood Recognition参考文献 38被引用 7

一句话总结

SenTion 提出了一种新颖的、与个体无关且尺度不变的面部表情识别框架，通过融合互向量夹角（IVA）的几何特征与梯度直方图（HOG）的外观特征实现。该混合模型在 CK+ 数据集上实现了 97.38% 的准确率，并在标准 CPU 上实现了 15–18 fps 的实时性能，优于当前最先进方法的同时，仍保持计算效率，适用于低资源应用场景。

ABSTRACT

Facial expressions are an integral part of human cognition and communication, and can be applied in various real life applications. A vital precursor to accurate expression recognition is feature extraction. In this paper, we propose SenTion: A framework for sensing facial expressions. We propose a novel person independent and scale invariant method of extracting Inter Vector Angles (IVA) as geometric features, which proves to be robust and reliable across databases. SenTion employs a novel framework of combining geometric (IVA's) and appearance based features (Histogram of Gradients) to create a hybrid model, that achieves state of the art recognition accuracy. We evaluate the performance of SenTion on two famous face expression data set, namely: CK+ and JAFFE; and subsequently evaluate the viability of facial expression systems by a user study. Extensive experiments showed that SenTion framework yielded dramatic improvements in facial expression recognition and could be employed in real-world applications with low resolution imaging and minimal computational resources in real-time, achieving 15-18 fps on a 2.4 GHz CPU with no GPU.

研究动机与目标

• 开发一种与个体无关且尺度不变的面部表情识别系统，确保在多种数据库中均能稳定运行。
• 解决现有方法的局限性，如计算成本高、对尺度和个体差异敏感，以及在不同数据集间泛化能力差的问题。
• 构建一种结合几何特征（IVA）与基于外观的特征（HOG）的混合特征融合模型，以提升准确率与鲁棒性。
• 通过一项新颖的用户研究，衡量在真实场景中表情表达与识别的难易程度，验证面部表情系统的实际可用性。

提出的方法

• 提出互向量夹角（IVA）作为新型几何特征提取方法，对尺度和个体特异性变化具有不变性。
• 将 IVA 特征与梯度直方图（HOG）结合，形成融合特征表示，同时捕捉形状与纹理信息。
• 采用标准分类器流程，包含特征选择与分类，基于 CK+ 和 JAFFE 数据集进行训练与交叉验证。
• 通过五名非演员参与的用户研究，使用李克特量表评估表情表达与识别的难易程度，并由三位人工评分者进行盲评。
• 使用标准指标评估性能，如准确率、混淆矩阵以及在 2.4 GHz CPU 上无 GPU 加速情况下的帧率（15–18 fps）。
• 应用跨数据集评估以测试泛化能力，分析不同数据集中 IVA 与 HOG 特征的主导性。

实验结果

研究问题

• RQ1 结合几何特征（IVA）与基于外观的特征（HOG）的混合模型是否能在多个面部表情数据库中实现更优且稳定的性能？
• RQ2 所提出的基于 IVA 的几何特征在应对尺度与个体差异变化时，其鲁棒性相较于现有几何或外观方法如何？
• RQ3 在真实世界非表演场景中，面部表情在可表达性与可识别性方面的人类感知差异有多大？
• RQ4 所提出的系统是否能以极低的计算开销实现高准确率，从而实现在无 GPU 加速的标准 CPU 上的实时部署？

主要发现

• 混合的 SenTion 模型在 CK+ 数据集上达到 97.38% 的准确率，优于当前最先进方法，展现出强大的泛化能力。
• 在 CK+ 数据集中，IVA 特征对性能贡献更大；而在 JAFFE 数据集中，HOG 特征则更为主导，表明二者具有互补优势。
• 系统在 2.4 GHz CPU 上实现 15–18 帧每秒，无需 GPU 加速，证实其在计算资源有限条件下实现实时应用的可行性。
• 用户研究显示，'高兴'、'惊讶'和'愤怒'是最容易表达与识别的情绪，表达难易度与识别难易度之间存在强相关性。
• 在 '愤怒'、'悲伤' 和 '厌恶' 之间观察到混淆，主要由于几何与外观特征存在重叠，尤其在 JAFFE 数据集中表情强度较低时更为明显。
• 混合模型（IVA + HOG）在所有数据集中均比单一特征集更稳定、更准确，证实了跨数据集特征融合的优势，且无需额外适应。