[论文解读] Real-time Hand Gesture Detection and Classification Using Convolutional Neural Networks

Okan Köpüklü, Ahmet Gunduz+2 more|arXiv (Cornell University)|Jan 29, 2019

Hand Gesture Recognition Systems参考文献 24被引用 10

一句话总结

本文提出一种两阶段、资源高效的CNN架构，用于实时手势识别，通过轻量级检测器仅在手势活动期间触发深度分类器。在EgoGesture数据集上实现91.04%的Levenshtein准确率，在nvGesture数据集上实现77.39%的准确率，通过加权平均和基于置信度的单次激活，实现最多提前9帧的早期检测。

ABSTRACT

Real-time recognition of dynamic hand gestures from video streams is a challenging task since (i) there is no indication when a gesture starts and ends in the video, (ii) performed gestures should only be recognized once, and (iii) the entire architecture should be designed considering the memory and power budget. In this work, we address these challenges by proposing a hierarchical structure enabling offline-working convolutional neural network (CNN) architectures to operate online efficiently by using sliding window approach. The proposed architecture consists of two models: (1) A detector which is a lightweight CNN architecture to detect gestures and (2) a classifier which is a deep CNN to classify the detected gestures. In order to evaluate the single-time activations of the detected gestures, we propose to use Levenshtein distance as an evaluation metric since it can measure misclassifications, multiple detections, and missing detections at the same time. We evaluate our architecture on two publicly available datasets - EgoGesture and NVIDIA Dynamic Hand Gesture Datasets - which require temporal detection and classification of the performed hand gestures. ResNeXt-101 model, which is used as a classifier, achieves the state-of-the-art offline classification accuracy of 94.04% and 83.82% for depth modality on EgoGesture and NVIDIA benchmarks, respectively. In real-time detection and classification, we obtain considerable early detections while achieving performances close to offline operation. The codes and pretrained models used in this work are publicly available.

研究动机与目标

• 解决实时手势识别中低延迟、高准确率与最小功耗的挑战。
• 克服现有系统优先考虑离线准确率而忽视实时效率与资源约束的局限性。
• 实现每个手势仅一次激活，防止动态视频流中重复或遗漏检测。
• 提出一种新型评估指标——Levenshtein准确率，以统一衡量误分类、多次检测与漏检。
• 通过基于置信度的激活机制与类别分数的加权平均，实现在不牺牲分类性能的前提下实现早期检测。

提出的方法

• 采用分层两模型架构：轻量级3D CNN检测器与高精度分类器（ResNeXt-101）结合，实现高准确率分类。
• 在视频流上采用步长为1的滑动窗口方法，实现实时推理。
• 对时间序列上的原始分类分数应用加权平均，以减少手势起始阶段的模糊性，提升决策稳定性。
• 基于前两名平均类别概率的差异设计置信度度量，用于触发单次激活。
• 使用Levenshtein距离作为统一评估指标，整体评估检测与分类性能。
• 通过仅在检测器指示手势存在时激活高复杂度分类器，优化推理过程，降低功耗与内存占用。

实验结果

研究问题

• RQ1 如何将高精度的离线训练CNN高效适配于动态手势识别的实时推理？
• RQ2 哪种评估指标最能综合反映实时手势识别中误分类、多次检测与漏检的挑战？
• RQ3 对分类分数进行加权平均是否能提升决策稳定性，并实现更早、更可靠的姿势检测？
• RQ4 在实时系统中，能在多大程度上实现早期检测而不降低分类准确率？
• RQ5 如何在流式视频环境中可靠地强制实现每个手势仅一次激活？

主要发现

• 所提系统在EgoGesture数据集上实现91.04%的Levenshtein准确率，在nvGesture数据集上实现77.39%的准确率，且为实时评估结果。
• 在EgoGesture数据集上，检测阈值τ_early = 0.4时，系统平均可提前9帧检测到手势，仅损失1.71%的Levenshtein准确率。
• 深度模态优于RGB模态，检测器在使用8帧输入时，于nvGesture数据集上达到97.30%的准确率。
• 分类器（ResNeXt-101）在EgoGesture数据集（深度模态）上实现94.04%的SOTA离线准确率，在nvGesture数据集上实现83.82%的准确率。
• 在单张NVIDIA Titan Xp GPU上，系统空闲时运行速度为460 fps，处理手势时为62 fps（使用ResNeXt-101）或41 fps（使用C3D）。
• 加权平均在早期检测性能上显著优于均匀平均，尤其在较低阈值下表现更优。