[论文解读] Principal motion components for gesture recognition using a single-example

Hugo Jair Escalante, Isabelle Guyon+3 more|arXiv (Cornell University)|Oct 17, 2013

Human Pose and Action Recognition参考文献 26被引用 9

一句话总结

本文提出主运动分量（PMC），一种简单而有效的单次样本手势识别方法，通过连续视频帧的运动能量图，应用主成分分析（PCA）进行降维，并利用重构误差进行手势分类。在包含54,000个手势的ChaLearn手势数据集上评估，PMC在两个挑战阶段分别取得第9名和第7名的竞争力表现，可作为后续方法的强基线。

ABSTRACT

This paper introduces principal motion components (PMC), a new method for one-shot gesture recognition. In the considered scenario a single training-video is available for each gesture to be recognized, which limits the application of traditional techniques (e.g., HMMs). In PMC, a 2D map of motion energy is obtained per each pair of consecutive frames in a video. Motion maps associated to a video are processed to obtain a PCA model, which is used for recognition under a reconstruction-error approach. The main benefits of the proposed approach are its simplicity, easiness of implementation, competitive performance and efficiency. We report experimental results in one-shot gesture recognition using the ChaLearn Gesture Dataset; a benchmark comprising more than 50,000 gestures, recorded as both RGB and depth video with a Kinect camera. Results obtained with PMC are competitive with alternative methods proposed for the same data set.

研究动机与目标

• 解决每类手势仅有一个训练样本的手势识别挑战，该场景在用户自适应与真实应用场景中普遍存在。
• 开发一种不依赖手工特征、姿态估计或骨骼提取的方法，以提升鲁棒性并降低对专用预处理的依赖。
• 构建一种简单、高效且有效的单次样本手势识别基线方法，便于实现与扩展。
• 支持使用RGB与深度视频模态进行识别，且性能无显著下降。
• 确保对手势动态变化、用户技能水平差异及部分遮挡具有鲁棒性。

提出的方法

• 通过计算连续帧中对应空间区域像素强度的绝对差值，为每对连续帧生成二维运动能量图。
• 将单个手势视频中的所有运动图整合为一个图袋表示，以捕捉时间上的运动模式。
• 对图袋表示应用主成分分析（PCA），以学习代表手势主运动分量的低维子空间。
• 在识别阶段，将测试手势的运动图投影到学习到的PCA子空间中，并计算重构误差作为与每个训练手势的相似性度量。
• 将测试手势分类为所有训练模型中重构误差最小的那个。
• 支持手动与自动手势分割，且在自动分割下性能下降极小。

实验结果

研究问题

• RQ1 是否可通过简单的运动图与基于PCA的重构误差方法，在不依赖复杂模型或姿态估计的前提下，实现在单次样本手势识别中的竞争力表现？
• RQ2 PMC在不同手势类型中的表现如何，特别是在动态手势与静态手势之间是否存在差异？
• RQ3 该方法在RGB与深度视频模态之间具有多大程度的泛化能力，且在极少超参数调优下表现如何？
• RQ4 该方法对手势分割方式的变化有多鲁棒，包括手动与自动检测手势边界的情况？
• RQ5 所提出的方法是否可作为强大且可解释的基线，从而启发更先进的单次样本手势识别方法？

主要发现

• PMC在ChaLearn手势挑战赛中表现优异，分别在第一阶段和第二阶段取得第9名与第7名。
• 在自动分割下测试误差率为0.2890，在手动分割下为0.2696，优于多种基线方法，如模板匹配与流形学习。
• PMC在高度动态手势上表现强劲，表明其适用于快速或复杂运动模式。
• 该方法在RGB与深度视频模态间保持了相近的性能，显示出对输入模态的鲁棒性。
• 该方法的简洁性与高效性使其成为广泛采用的基线，启发了挑战赛中多个顶尖方案将其作为复杂架构中的核心组件。
• 即使未使用专门预处理或姿态估计，PMC在简单、非学习型方法中仍达到最先进性能，验证了其作为基础方法的有效性。