[论文解读] Real-Time and Robust Method for Hand Gesture Recognition System Based on Cross-Correlation Coefficient

Reza Azad, Babak Azad+1 more|arXiv (Cornell University)|Aug 8, 2014

Hand Gesture Recognition Systems参考文献 10被引用 15

一句话总结

本文提出了一种基于互相关系数进行特征匹配的实时、鲁棒的手势识别系统。通过图像处理对手势进行分割，并应用互相关方法与预定义模板进行匹配，在美国手语数据集上实现了98.34%的准确率，展示了在实际应用中的高效性和可靠性。

ABSTRACT

Hand gesture recognition possesses extensive applications in virtual reality, sign language recognition, and computer games. The direct interface of hand gestures provides us a new way for communicating with the virtual environment. In this paper a novel and real-time approach for hand gesture recognition system is presented. In the suggested method, first, the hand gesture is extracted from the main image by the image segmentation and morphological operation and then is sent to feature extraction stage. In feature extraction stage the Cross-correlation coefficient is applied on the gesture to recognize it. In the result part, the proposed approach is applied on American Sign Language (ASL) database and the accuracy rate obtained 98.34%.

研究动机与目标

• 开发一种适用于虚拟现实和手语翻译等交互应用的实时手势识别系统。
• 通过有效的手势分割和特征提取，解决在光照和背景条件变化下的鲁棒性挑战。
• 通过计算高效的基于互相关匹配技术，提升识别准确率和处理速度。
• 在标准基准数据集（特别是美国手语（ASL）数据库）上验证该方法，以确保其实际适用性。

提出的方法

• 通过图像分割和形态学操作从输入图像中提取手势，以隔离出手部区域。
• 将分割后的手部区域进行归一化，并作为输入，通过与预定义手势模板的互相关系数进行特征提取。
• 在输入手势与数据库中每个模板之间计算互相关，以确定最佳匹配。
• 选择互相关值最高的手势作为识别输出，实现快速可靠的分类。
• 该方法依赖于使用归一化互相关进行模板匹配，以增强对光照和尺度变化的鲁棒性。
• 通过在分割和匹配阶段最小化计算复杂度，实现系统的实时性能。

实验结果

研究问题

• RQ1 能否开发一种在环境条件变化下仍保持高准确率的实时手势识别系统？
• RQ2 作为特征相似性度量，互相关系数在手势匹配中的有效性如何？
• RQ3 在标准ASL数据集上，使用互相关方法可实现多高的识别准确率？
• RQ4 与现有手势识别技术相比，该方法在速度和鲁棒性方面表现如何？
• RQ5 形态学处理与互相关相结合，在多大程度上提升了识别的可靠性？

主要发现

• 所提方法在美国手语（ASL）数据库上实现了98.34%的识别准确率，表明其具有高度可靠性。
• 该系统可实时运行，适用于虚拟现实和人机交互等交互式应用。
• 使用互相关进行模板匹配在光照变化和背景噪声下表现出良好的鲁棒性。
• 图像分割和形态学操作有效隔离了手部区域，提升了特征提取质量。
• 该方法计算开销极小，支持实时部署，表现出优异的性能。
• 结果表明，基于互相关的匹配方法在受控手势识别任务中，是复杂机器学习模型的可行且高效的替代方案。