[论文解读] Spontaneous Facial Micro-Expression Recognition using Discriminative Spatiotemporal Local Binary Pattern with an Improved Integral Projection

Xiaohua Huang, Sujing Wang+4 more|arXiv (Cornell University)|Aug 7, 2016

Face and Expression Recognition参考文献 9被引用 19

一句话总结

本文提出了一种新颖的方法——改进积分投影的判别性时空局部二值模式（DiSTLBP-IIP），用于自发性面部微表情识别。通过引入改进的积分投影以保留面部形状，并在时空维度上应用局部二值模式算子，该方法增强了纹理与形状特征的提取；进一步采用基于拉普拉斯的特征选择方法以提升判别能力，在CASME、CASME2和SMIC数据库上实现了最先进性能，识别率最高达64.78%。

ABSTRACT

Recently, there are increasing interests in inferring mirco-expression from facial image sequences. Due to subtle facial movement of micro-expressions, feature extraction has become an important and critical issue for spontaneous facial micro-expression recognition. Recent works usually used spatiotemporal local binary pattern for micro-expression analysis. However, the commonly used spatiotemporal local binary pattern considers dynamic texture information to represent face images while misses the shape attribute of face images. On the other hand, their works extracted the spatiotemporal features from the global face regions, which ignore the discriminative information between two micro-expression classes. The above-mentioned problems seriously limit the application of spatiotemporal local binary pattern on micro-expression recognition. In this paper, we propose a discriminative spatiotemporal local binary pattern based on an improved integral projection to resolve the problems of spatiotemporal local binary pattern for micro-expression recognition. Firstly, we develop an improved integral projection for preserving the shape attribute of micro-expressions. Furthermore, an improved integral projection is incorporated with local binary pattern operators across spatial and temporal domains. Specifically, we extract the novel spatiotemporal features incorporating shape attributes into spatiotemporal texture features. For increasing the discrimination of micro-expressions, we propose a new feature selection based on Laplacian method to extract the discriminative information for facial micro-expression recognition. Intensive experiments are conducted on three availably published micro-expression databases. We compare our method with the state-of-the-art algorithms. Experimental results demonstrate that our proposed method achieves promising performance for micro-expression recognition.

研究动机与目标

• 解决传统时空LBP在捕捉微表情面部形状属性与判别性信息方面的局限性。
• 通过增强的积分投影方法，整合形状与纹理特征，以提升微表情识别性能。
• 提出一种基于拉普拉斯方法的判别性特征选择策略，以增强微表情分类中的类别可分性。
• 在自发性微表情数据库上实现最先进性能，尤其在CASME2和SMIC数据集上，这些数据集中的微表情细微且持续时间短暂。

提出的方法

• 引入改进的积分投影以保留微表情的几何形状，增强空间结构表征。
• 在时空维度上对水平与垂直积分投影应用局部二值模式（LBP）算子，以提取时空纹理特征。
• 将形状感知投影与LBP结合，生成新型特征描述子STLBP-IIP，以同时捕捉外观与运动动态。
• 应用基于拉普拉斯的特征选择方法，从STLBP-IIP表征中识别并保留最具判别性的特征。
• 在三个公开的微表情数据库（CASME、CASME2和SMIC）上，采用多分类分类设置对框架进行评估。
• 使用线性核支持向量机（SVM）进行分类，并通过留一被试者交叉验证（LOSO）验证性能。

实验结果

研究问题

• RQ1 改进的积分投影方法是否能有效保留自发性微表情的形状属性，以实现更优的特征表征？
• RQ2 将形状感知投影与时空LBP结合，是否能相比标准LBP-TOP提升微表情特征的判别能力？
• RQ3 基于拉普拉斯的特征选择是否能通过聚焦最具判别性的特征子集，提升微表情分析的识别准确率？
• RQ4 所提出的DiSTLBP-IIP方法在基准微表情数据库上的识别准确率与鲁棒性方面，相较于最先进方法表现如何？

主要发现

• 在CASME2数据库上，DiSTLBP-IIP实现了64.78%的识别准确率，优于次佳方法（STCLQP）6.39个百分点。
• 在SMIC数据库上，DiSTLBP-IIP达到63.41%的准确率，显著优于LBP-TOP（42.07%）和LOCP-TOP（43.90%），较LOCP-TOP提升16.47%。
• 混淆矩阵分析表明，DiSTLBP-IIP减少了将“惊讶”误分类为“其他”的情况，表明其相比基线方法具有更好的类别分离能力。
• STLBP-IIP在SMIC上实现了60.37%的准确率，证实改进的积分投影在性能上优于标准LBP-TOP与LOCP-TOP。
• 基于拉普拉斯的特征选择有效增强了判别能力，推动DiSTLBP-IIP在所有数据库上的性能提升。
• 该方法在三个数据库（CASME、CASME2和SMIC）上均表现出一致的优越性，证实其在自发性微表情识别中的鲁棒性与泛化能力。