[论文解读] Two-stream Fusion Model for Dynamic Hand Gesture Recognition using 3D-CNN and 2D-CNN Optical Flow guided Motion Template

Debajit Sarma, V. Kavyasree+1 more|arXiv (Cornell University)|Jul 17, 2020

Hand Gesture Recognition Systems参考文献 26被引用 10

一句话总结

本文提出一种双流融合模型，结合3D-CNN从RGB手势视频中提取时空特征，以及2D-CNN通过光流引导运动模板（OFMT）进行运动模式识别，在Graffiti数据集上达到99.20%的准确率，在自建数据集上达到99%，展现出在计算成本更低且无需人工分割的情况下达到最先进性能。

ABSTRACT

The use of hand gestures can be a useful tool for many applications in the human-computer interaction community. In a broad range of areas hand gesture techniques can be applied specifically in sign language recognition, robotic surgery, etc. In the process of hand gesture recognition, proper detection, and tracking of the moving hand become challenging due to the varied shape and size of the hand. Here the objective is to track the movement of the hand irrespective of the shape, size, and color of the hand. And, for this, a motion template guided by optical flow (OFMT) is proposed. OFMT is a compact representation of the motion information of a gesture encoded into a single image. In the experimentation, different datasets using bare hand with an open palm, and folded palm wearing green-glove are used, and in both cases, we could generate the OFMT images with equal precision. Recently, deep network-based techniques have shown impressive improvements as compared to conventional hand-crafted feature-based techniques. Moreover, in the literature, it is seen that the use of different streams with informative input data helps to increase the performance in the recognition accuracy. This work basically proposes a two-stream fusion model for hand gesture recognition and a compact yet efficient motion template based on optical flow. Specifically, the two-stream network consists of two layers: a 3D convolutional neural network (C3D) that takes gesture videos as input and a 2D-CNN that takes OFMT images as input. C3D has shown its efficiency in capturing spatio-temporal information of a video. Whereas OFMT helps to eliminate irrelevant gestures providing additional motion information. Though each stream can work independently, they are combined with a fusion scheme to boost the recognition results. We have shown the efficiency of the proposed two-stream network on two databases.

研究动机与目标

• 开发一种对不同手部形状、大小和颜色变化具有鲁棒性的动态手势识别系统。
• 通过使用光流生成紧凑的运动表示，消除对手部分割的需求。
• 通过融合3D-CNN提取的时空特征与2D-CNN提取的运动模式特征，提高识别准确率。
• 相比3D-CNN/RNN/LSTM等深度架构，通过使用轻量级OFMT表示，降低计算复杂度。
• 在基准数据集上实现最先进性能，且无需预分割的手部区域。

提出的方法

• 该模型采用双流架构：一条流通过3D-CNN（C3D）处理原始RGB手势视频，以提取时空特征。
• 第二条流处理一种新型光流引导运动模板（OFMT），该模板利用光流和背景抑制更新规则，将时间运动编码为单张2D图像。
• OFMT通过累积光流中的运动向量生成，背景噪声通过动态更新机制减少，从而提高运动轮廓的准确性。
• 两条流独立训练，其预测得分通过最优融合参数（γ=0.6，δ=0.4）的贝叶斯集成公式在决策层进行融合。
• 融合策略结合了3D-CNN捕捉细微时空动态的能力与2D-CNN从OFMT高效识别运动模式的优势。
• 该框架在Graffiti数据集和一个自建数据集（包含裸手与绿色手套手势）上进行评估，采用后融合策略以提升性能。

实验结果

研究问题

• RQ1 基于光流引导的运动模板是否能在降低计算复杂度的同时提升手势识别准确率？
• RQ2 融合3D-CNN与2D-CNN双流是否在动态手势识别中优于单一模型？
• RQ3 所提出的OFMT表示能否在无需手部分割的情况下有效抑制背景噪声并保留运动轮廓？
• RQ4 所提出的双流融合模型在不同手势数据集上的准确率与鲁棒性方面，与最先进方法相比如何？
• RQ5 时空特征与运动模式特征的融合在资源受限环境中的识别性能提升程度如何？

主要发现

• 所提出的双流融合模型在Graffiti数据集上实现了99.20%的识别准确率，优于所有对比方法，包括一个CNN-CRF融合模型（准确率为98.40%）。
• 3D-CNN单独达到97.30%的准确率，而2D-CNN单独达到92.60%，表明两条流具有互补性。
• 在自建数据集中，融合模型实现了99%的识别准确率，性能与先前方法相当，但无需手部分割。
• 最优融合参数为γ=0.6和δ=0.4，表明3D-CNN提取的时空特征对最终准确率的贡献更大。
• OFMT表示有效减少了背景噪声并保留了运动轮廓，使得即使在长且多样的视频序列中也能实现准确的手势检测。
• 该模型计算效率高，由于OFMT表示紧凑且2D-CNN流轻量化，因此适用于资源受限环境的部署。