[论文解读] Novel Approach to Use HU Moments with Image Processing Techniques for Real Time Sign Language Communication

Matheesha Fernando, Janaka Wijayanayake|arXiv (Cornell University)|Jul 20, 2020

Hand Gesture Recognition Systems参考文献 10被引用 11

一句话总结

本文提出了一种基于图像处理和Hu矩的低成本、实时手语识别系统，用于姿势分类。通过结合新颖的高宽比过滤方法与Hu矩不变量，该系统在非受控光照和背景条件下对手语手势的识别准确率达到84%，实现了聋哑人士与听力人群之间的实用化沟通。

ABSTRACT

Sign language is the fundamental communication method among people who suffer from speech and hearing defects. The rest of the world doesn't have a clear idea of sign language. "Sign Language Communicator" (SLC) is designed to solve the language barrier between the sign language users and the rest of the world. The main objective of this research is to provide a low cost affordable method of sign language interpretation. This system will also be very useful to the sign language learners as they can practice the sign language. During the research available human computer interaction techniques in posture recognition was tested and evaluated. A series of image processing techniques with Hu-moment classification was identified as the best approach. To improve the accuracy of the system, a new approach height to width ratio filtration was implemented along with Hu-moments. System is able to recognize selected Sign Language signs with the accuracy of 84% without a controlled background with small light adjustments

研究动机与目标

• 开发一种经济实惠、实时的手语交流系统，服务于聋哑人士。
• 弥合手语使用者与听力人群之间的沟通鸿沟。
• 在极少预处理的前提下，提升非约束环境下手势识别的准确性。
• 通过互动练习和反馈机制，支持手语学习者的学习。
• 评估并优化人机交互技术在手语解读中的姿势识别性能。

提出的方法

• 系统采用基于摄像头的输入，实时捕获手势视频。
• 应用图像预处理技术（如阈值处理、去噪和边缘检测）以分离出手部形状。
• 从分割后的手部区域提取七种不变矩（Hu moments）以描述形状特征。
• 引入一种新颖的高宽比过滤方法，以剔除非手势形状，提升分类鲁棒性。
• 系统基于Hu矩特征与高宽比的组合对手势进行分类。
• 使用预定义手语手势的数据集训练机器学习分类器，实现实时识别。

实验结果

研究问题

• RQ1 在光照和背景条件多变的情况下，Hu矩能否有效表征实时手语识别中的手势形状？
• RQ2 与仅使用Hu矩相比，引入高宽比过滤后识别准确率是否显著提升？
• RQ3 在无控制背景的非约束环境下，该系统的可实现识别准确率是多少？
• RQ4 该系统能否支持实时交互，用于沟通与学习目的？
• RQ5 与现有姿势识别技术相比，该方法在成本、复杂度和性能方面表现如何？

主要发现

• 该系统在无需受控背景的情况下，对选定手语手势的识别准确率达到84%。
• 引入高宽比过滤后，显著提升了分类性能，有效减少了非手势形状带来的误报。
• 系统可实时运行，支持沟通与学习应用中的交互使用。
• 系统仅需轻微光照调整即可保持性能，表明对环境变化具有鲁棒性。
• Hu矩的使用确保了对平移、旋转和缩放的不变性，增强了形状识别的稳定性。
• 该方法成本低廉，适用于标准计算硬件部署，具备良好的可访问性与可扩展性。