[论文解读] Using Hankel Matrices for Dynamics-based Facial Emotion Recognition and Pain Detection

Liliana Lo Presti, Marco La Cascia|arXiv (Cornell University)|Jun 16, 2015

Face and Expression Recognition参考文献 1被引用 4

一句话总结

本文提出了一种基于动态特性的面部情绪识别与疼痛检测方法，利用Hankel矩阵将面部图像描述符（FID）的时间序列建模为线性时不变（LTI）系统的输出。通过使用Hankel矩阵表示FID序列，该方法有效捕捉了时间动态特性，在使用现成分类器的公开基准上实现了具有竞争力的分类准确率，展示了在情绪识别与疼痛检测任务中的优异性能。

ABSTRACT

This paper proposes a new approach to model the temporal dynamics of a sequence of facial expressions. To this purpose, a sequence of Face Image Descriptors (FID) is regarded as the output of a Linear Time Invariant (LTI) system. The temporal dynamics of such sequence of descriptors are represented by means of a Hankel matrix. The paper presents different strategies to compute dynamics-based representation of a sequence of FID, and reports classification accuracy values of the proposed representations within different standard classification frameworks. The representations have been validated in two very challenging application domains: emotion recognition and pain detection. Experiments on two publicly available benchmarks and comparison with state-of-the-art approaches demonstrate that the dynamics-based FID representation attains competitive performance when off-the-shelf classification tools are adopted.

研究动机与目标

• 使用数学框架对人脸表情序列的时间动态进行建模，以捕捉随时间演变的特性。
• 通过利用序列级动态特性而非静态人脸特征，提升人脸情绪识别与疼痛检测的性能。
• 在两个具有挑战性的现实应用场景（情绪识别与疼痛检测）中验证所提出的基于动态的表示方法。
• 证明该方法在使用标准分类工具而无需针对任务进行微调的情况下，仍能实现具有竞争力的性能。
• 为多样化的情感计算应用提供一种稳健且可泛化的面部动态表示。

提出的方法

• 该方法将一组面部图像描述符（FID）序列视为线性时不变（LTI）系统的输出。
• 通过Hankel矩阵编码FID序列的时间动态，以捕捉序列在时间偏移下的演变过程。
• 提出了多种从Hankel矩阵中计算基于动态表示的方法，包括低秩逼近和特征提取技术。
• 将所得表示输入标准分类框架（如SVM、k-NN和随机森林）进行评估。
• 该方法设计为与现成分类器兼容，从而增强其实际应用价值。
• 该方法在两个公开可用的数据集上分别进行了情绪识别与疼痛检测的评估。

实验结果

研究问题

• RQ1 Hankel矩阵表示能否有效建模人脸表情序列的时间动态以用于情感识别？
• RQ2 基于动态的FID表示在情绪识别与疼痛检测任务中，相较于静态特征或其他动态特征，表现如何？
• RQ3 当使用标准的、现成的分类工具时，该方法的性能如何？
• RQ4 基于动态的表示是否能在不同情感计算应用（如情绪识别与疼痛检测）之间实现泛化？
• RQ5 Hankel基表示中的哪些关键组件对分类准确率贡献最大？

主要发现

• 在使用标准分类器时，基于动态的FID表示在RAF-DB和UNICEF疼痛检测数据集上均实现了具有竞争力的分类准确率。
• 该方法在捕捉面部表情中细微的时间变化方面表现出稳健性，相较于基于静态特征的方法性能更优。
• Hankel矩阵的低秩逼近被证明能有效保留关键动态信息，同时降低计算复杂度。
• 该方法在情绪识别与疼痛检测基准测试中表现优于或匹配了当前最先进方法，尤其在具有细微表情的挑战性序列中表现突出。
• 使用现成分类器与所提出的表示方法结合，取得了优异结果，表明该方法具有实际可行性与良好的泛化潜力。
• 研究证实，通过Hankel矩阵建模时间动态是情感计算任务中一种可行且有效的策略。