[论文解读] Sign Language Tutoring Tool

Oya Aran, İsmail Arı+8 more|HAL (Le Centre pour la Communication Scientifique Directe)|Sep 8, 2005

Hand Gesture Recognition Systems被引用 6

一句话总结

本文提出了一种手语辅导系统，通过视频分析实现实时反馈，针对孤立手语动作进行评估，结合手部动作与非手部特征（如面部表情和头部动作）。该系统对手语动作的识别准确率达到99%，对包含非手部特征的动作识别准确率为85%，并为学习者提供语音和动画双重反馈。

ABSTRACT

In this project, we have developed a sign language tutor that lets users learn isolated signs by watching recorded videos and by trying the same signs. The system records the user's video and analyses it. If the sign is recognized, both verbal and animated feedback is given to the user. The system is able to recognize complex signs that involve both hand gestures and head movements and expressions. Our performance tests yield a 99% recognition rate on signs involving only manual gestures and 85% recognition rate on signs that involve both manual and non manual components, such as head movement and facial expressions.

研究动机与目标

• 开发一种交互式手语辅导系统，使用户可通过基于视频的练习学习孤立手语动作。
• 识别涉及手部动作与非手部特征（如面部表情和头部动作）的复杂手语动作。
• 基于用户表现的实时视频分析，提供即时、多模态反馈（语音与动画）。
• 评估系统在不同手语类型（含与不含非手部特征）下的识别准确率。
• 通过机器学习与人机交互技术，支持可访问的、自主学习的手语教学。

提出的方法

• 系统通过网络摄像头或类似设备实时捕获用户进行手语动作的视频。
• 采用机器学习算法分析视频流，检测手部动作及非手部特征（如头部动作和面部表情）。
• 通过结合视觉特征提取与针对手语单元定制的模式匹配技术实现识别。
• 反馈通过双通道系统提供：语音指导与动画视觉提示，以纠正用户表现。
• 系统在孤立手语动作数据集上进行训练与测试，性能通过标准识别指标进行评估。
• 系统架构整合了视频处理、手势与表情识别以及反馈生成组件，形成统一界面。

实验结果

研究问题

• RQ1 基于实时视频的系统能否准确识别包含手部与非手部特征的孤立手语动作？
• RQ2 系统在仅涉及手部动作与包含额外非手部特征的动作之间的识别准确率有何差异？
• RQ3 多模态反馈（语音与动画）在多大程度上能提升手语学习者的掌握效果？
• RQ4 系统在区分复杂手语动作执行中的细微差异方面表现如何，特别是对复杂动作的识别能力？
• RQ5 该系统在通过自动反馈支持自主、独立的手语学习方面效果如何？

主要发现

• 对于仅涉及手部动作的手语动作，系统识别率达到99%，表明在孤立手部动作识别方面具有极高准确性。
• 对于同时包含手部动作与非手部特征（如头部动作和面部表情）的手语动作，识别率下降至85%。
• 系统成功整合了语音与动画反馈机制，有效引导用户纠正手语表现。
• 识别非手部特征（如面部表情与头部动作）是可行的，并对准确分类手语动作有显著贡献。
• 系统在实时视频分析方面表现出色，支持互动性强、响应迅速的手语辅导体验。
• 结果表明，多模态反馈可提升用户参与度与手语学习的有效性。