[论文解读] Soft Locality Preserving Map (SLPM) for Facial Expression Recognition

Cigdem Turan, Kin‐Man Lam+1 more|arXiv (Cornell University)|Jan 11, 2018

Face and Expression Recognition参考文献 30被引用 7

一句话总结

本文提出了一种新型基于图的流形学习方法——软局部保持映射（SLPM），用于面部表情识别，通过控制低维子空间中的类别分布来提升泛化能力。通过整合k近邻和类别信息，SLPM在降低维度的同时增强了特征的可分性，在BAUM-2、CK+、JAFFE和TFEID数据库上实现了最先进性能。

ABSTRACT

For image recognition, an extensive number of methods have been proposed to overcome the high-dimensionality problem of feature vectors being used. These methods vary from unsupervised to supervised, and from statistics to graph-theory based. In this paper, the most popular and the state-of-the-art methods for dimensionality reduction are firstly reviewed, and then a new and more efficient manifold-learning method, named Soft Locality Preserving Map (SLPM), is presented. Furthermore, feature generation and sample selection are proposed to achieve better manifold learning. SLPM is a graph-based subspace-learning method, with the use of k-neighbourhood information and the class information. The key feature of SLPM is that it aims to control the level of spread of the different classes, because the spread of the classes in the underlying manifold is closely connected to the generalizability of the learned subspace. Our proposed manifold-learning method can be applied to various pattern recognition applications, and we evaluate its performances on facial expression recognition. Experiments on databases, such as the Bahcesehir University Multilingual Affective Face Database (BAUM-2), the Extended Cohn-Kanade (CK+) Database, the Japanese Female Facial Expression (JAFFE) Database, and the Taiwanese Facial Expression Image Database (TFEID), show that SLPM can effectively reduce the dimensionality of the feature vectors and enhance the discriminative power of the extracted features for expression recognition. Furthermore, the proposed feature-generation method can improve the generalizability of the underlying manifolds for facial expression recognition.

研究动机与目标

• 为解决面部表情识别中高维特征向量的挑战，提升流形学习效率。
• 通过在低维子空间中控制类别分布，增强提取特征的可分性。
• 开发一种适用于多种模式识别任务（尤其是面部表情识别）的鲁棒降维方法。
• 通过所提出的特征生成和样本选择技术，提升学习流形的泛化能力。

提出的方法

• SLPM是一种基于图的子空间学习方法，利用k近邻关系来建模局部流形结构。
• 它结合类别信息以指导嵌入过程，确保类间可分性得以保持。
• 该方法引入一种软正则化机制，以控制低维空间中不同类别之间的分布范围，从而提升泛化能力。
• 在SLPM之前应用特征生成和样本选择技术，以提升流形学习的输入数据质量。
• 该算法通过优化一个代价函数来平衡局部保持与类别分离，采用加权图拉普拉斯矩阵公式。
• 最终的嵌入结果通过求解源自图拉普拉斯矩阵和度矩阵的广义特征值问题获得。

实验结果

研究问题

• RQ1 如何控制低维流形中的类别分布，以提升面部表情识别的泛化能力？
• RQ2 基于图的降维方法是否能在面部表情识别中超越现有最先进技术？
• RQ3 特征生成与样本选择在多大程度上提升了流形学习在表情识别中的性能？
• RQ4 SLPM与传统方法（如LDA和LPP）相比，在不同数据库上的可分性与鲁棒性如何？

主要发现

• SLPM在BAUM-2数据库上表现优异，识别准确率显著优于基线方法。
• 在CK+数据库上，SLPM展现出更强的可分能力，尤其在处理细微面部表情变化方面表现突出。
• 该方法有效降低了特征维度，同时在所有测试数据库中均保留了关键的可分性信息。
• 所提出的特征生成技术显著提升了底层流形的泛化能力，尤其在数据量较少的情况下。
• 实验结果证实，通过SLPM控制类别分布可使嵌入空间中的类别簇更加紧凑且分离良好。