[论文解读] Sparse Coding of Shape Trajectories for Facial Expression and Action Recognition

Amor Ben Tanfous, Hassen Drira+1 more|arXiv (Cornell University)|Aug 8, 2019

Human Pose and Action Recognition参考文献 81被引用 5

一句话总结

该论文通过在Kendall形状空间中对2D/3D关键点轨迹进行建模，提出了一种黎曼稀疏编码与字典学习（SCDL）方法，用于面部表情和动作识别。针对2D面部表情采用再生核希尔伯特空间（RKHS）中的外部SCDL，针对3D骨骼动作则采用切空间上的内在SCDL，通过具有判别性、稀疏性且兼容向量空间的表示方式，实现了与最先进方法相当的性能。

ABSTRACT

The detection and tracking of human landmarks in video streams has gained in reliability partly due to the availability of affordable RGB-D sensors. The analysis of such time-varying geometric data is playing an important role in the automatic human behavior understanding. However, suitable shape representations as well as their temporal evolution, termed trajectories, often lie to nonlinear manifolds. This puts an additional constraint (i.e., nonlinearity) in using conventional Machine Learning techniques. As a solution, this paper accommodates the well-known Sparse Coding and Dictionary Learning approach to study time-varying shapes on the Kendall shape spaces of 2D and 3D landmarks. We illustrate effective coding of 3D skeletal sequences for action recognition and 2D facial landmark sequences for macro- and micro-expression recognition. To overcome the inherent nonlinearity of the shape spaces, intrinsic and extrinsic solutions were explored. As main results, shape trajectories give rise to more discriminative time-series with suitable computational properties, including sparsity and vector space structure. Extensive experiments conducted on commonly-used datasets demonstrate the competitiveness of the proposed approaches with respect to state-of-the-art.

研究动机与目标

• 解决人类行为理解中时间关键点数据的非线性形状流形挑战。
• 为2D和3D Kendall形状空间中的形状轨迹稀疏编码构建统一框架。
• 比较内在与外部SCDL解决方案在面部表情和动作识别中的性能，以实现最优表现。
• 通过将流形值轨迹转换为稀疏、判别性的时间序列，实现在向量空间中的有效时间建模与分类。
• 在标准基准数据集上验证所提方法在宏观与微表情识别及3D动作识别中的有效性。

提出的方法

• 将2D/3D关键点序列表示为Kendall形状空间中的轨迹，以实现视角不变性分析。
• 通过使用Procrustes高斯核将2D面部轨迹嵌入再生核希尔伯特空间（RKHS），实施外部SCDL。
• 通过将数据投影到流形上参考点的切空间，实现3D骨骼轨迹的内在SCDL。
• 从训练数据中学习黎曼字典，以在保持几何结构的同时实现形状轨迹的稀疏编码。
• 将稀疏编码用作判别性特征，实现在欧氏空间中的时间建模与分类。
• 在所得稀疏时间序列上应用标准分类器（如SVM）以完成识别任务。

实验结果

研究问题

• RQ1 在2D面部表情识别中，RKHS中的外部SCDL效果如何，特别是在识别微妙的宏观与微表情方面？
• RQ2 在3D动作识别中，切空间上的内在SCDL与外部SCDL在性能与鲁棒性方面相比如何？
• RQ3 在Kendall形状空间中对形状轨迹进行稀疏编码，是否能产生比原始关键点序列更具判别性且抗噪声的特征？
• RQ4 核函数选择与参数设置（如Procrustes高斯核中的σ）对3D形状空间中外在SCDL性能有何影响？
• RQ5 所提框架是否在不同数据集和表情类型（包括微表情）上具有泛化能力？

主要发现

• 在2D面部表情识别中，采用Procrustes高斯核的外部SCDL优于内在SCDL，尤其在CK+数据集上对轻蔑等细微情绪的识别表现更优。
• 外部方法在2D微表情识别中也取得了令人满意的结果，证实其能够捕捉细微的形状形变。
• 在3D动作识别中，内在SCDL表现更优，因为3D Kendall空间缺乏正定核，限制了外部SCDL的有效性。
• 所提出的稀疏编码框架生成了具有判别性、抗噪声且兼容向量空间的特征，使欧氏空间中的分类更加有效。
• 大量实验表明，该方法在标准面部表情与动作识别基准数据集上的性能与最先进方法相当。
• 对比研究显示，内在SCDL避免了在参考点处切空间近似带来的失真，因此更适合具有大变化的3D数据。