[论文解读] NFS: A Hand Gesture Recognition Based Game Using MediaPipe and PyGame

Md Rafid Islam, Ratun Rahman+2 more|arXiv (Cornell University)|Apr 23, 2022

Hand Gesture Recognition Systems被引用 4

一句话总结

本文提出NFS，一款基于手势识别的游戏，利用MediaPipe实现实时手部关键点检测，通过PyGame实现游戏渲染。通过用手势交互替代传统控制器，尽管难度有所增加，但系统在趣味性和可重玩性方面表现更优，证明了手势交互在人机交互中的可行性。

ABSTRACT

This paper represents a game which interacts with humans via hand gesture movement. Nowadays, apps like this seem rare, and there seems to be a window opening for this kind of application to be more prevalent and useful in the near future. This application is based on hand gesture movement instead of being dependent on a keyboard and mouse. The main issue was to figure out how to utilize machine learning to make this application work as it should be. First, two games were selected one with a traditional controller and another with hand gesture method. Then these two games based on the difficulty to use, fun elements, gameplay, and replayability were compared. Though the difficulty increases but the other three aspects improve significantly. After going through all of that a conclusion can be drawn that people are more likely to play a simple hand gesture-based game.

研究动机与目标

• 开发一款基于手势的游戏应用，以替代键盘和鼠标等传统输入方式。
• 评估基于手势控制的游戏与基于传统控制器的游戏在可用性和用户体验方面的差异。
• 探究尽管难度更高，手势交互是否能提升游戏的趣味性和可重玩性。
• 展示MediaPipe的手部追踪功能与PyGame在实时交互应用中实际集成的可行性。

提出的方法

• 使用MediaPipe Hands从视频流中实时检测人体手部的21个关键点。
• 对检测到的手部关键点进行处理，以识别特定手势（如数手指或手部形状），作为游戏控制输入。
• 使用PyGame构建自定义游戏环境，实现游戏渲染并解析手势输入以触发游戏内操作。
• 系统对比两种游戏版本：一种使用传统输入，另一种使用手势控制，分别从游戏性、难度、趣味性和可重玩性等方面进行评估。
• 游戏逻辑根据手势状态进行响应，实现基于手部姿态的移动或选择等操作。
• 整个处理流程在标准CPU上实时运行，确保低延迟交互，实现流畅的游戏体验。

实验结果

研究问题

• RQ1 在游戏乐趣和用户参与度方面，基于手势的交互与传统控制器输入相比有何差异？
• RQ2 手部手势识别系统能否在实时游戏应用中达到足够的准确性和响应速度？
• RQ3 在手势控制游戏中，更高的难度与提升的趣味性和可重玩性之间存在怎样的权衡？
• RQ4 MediaPipe的手部追踪技术在多大程度上能有效集成到PyGame中以支持交互式游戏开发？

主要发现

• 与传统控制器版本相比，基于手势的游戏版本在趣味性和可重玩性方面表现出显著更高的水平。
• 尽管手势控制游戏难度更高，但用户因直观的物理交互而报告了更高的参与度和愉悦感。
• MediaPipe与PyGame的集成实现了低延迟、实时的手势识别，适用于交互式游戏应用。
• 该系统证明了手部手势识别可作为游戏应用中传统输入方式的可行替代方案。