[论文解读] Vision Based Game Development Using Human Computer Interaction

S. Sumathi, S. K. Srivatsa+1 more|arXiv (Cornell University)|Feb 10, 2010

Gaze Tracking and Assistive Technology参考文献 4被引用 6

一句话总结

本文提出了一种基于视觉的人机交互系统，用面部手势替代传统的鼠标输入，通过实时检测鼻尖运动实现鼠标光标控制，通过眨眼实现左/右键点击。该系统采用低成本USB摄像头实现，达到30 fps的性能，通过实时视频流中的面部特征追踪，实现自然、无需双手的游戏交互。

ABSTRACT

A Human Computer Interface (HCI) System for playing games is designed here for more natural communication with the machines. The system presented here is a vision-based system for detection of long voluntary eye blinks and interpretation of blink patterns for communication between man and machine. This system replaces the mouse with the human face as a new way to interact with the computer. Facial features (nose tip and eyes) are detected and tracked in realtime to use their actions as mouse events. The coordinates and movement of the nose tip in the live video feed are translated to become the coordinates and movement of the mouse pointer on the application. The left or right eye blinks fire left or right mouse click events. The system works with inexpensive USB cameras and runs at a frame rate of 30 frames per second.

研究动机与目标

• 开发一种基于视觉交互的自然、无需双手的人机接口，用于游戏。
• 用面部手势（特别是鼻尖运动和眨眼）替代传统的鼠标输入。
• 使用廉价硬件（USB摄像头）实现实时、低延迟控制。
• 通过有意识的眨眼模式实现人机之间的直观通信。
• 展示在游戏应用中，基于视觉交互的可行性，且用户训练需求极少。

提出的方法

• 在实时视频流中使用计算机视觉技术，实时检测和追踪面部特征（鼻尖和眼睛）。
• 将视频画面中鼻尖坐标的移动转换为屏幕上鼠标指针的移动。
• 将左眼或右眼的眨眼映射为左键或右键点击事件。
• 使用标准USB网络摄像头作为输入设备，确保低成本且易于部署。
• 实现30 fps的帧率，以确保交互流畅且响应迅速。
• 应用计算机视觉和模式识别算法，将面部手势解释为输入命令。

实验结果

研究问题

• RQ1 能否可靠检测并转换鼻部运动和眨眼等面部手势为鼠标控制和点击？
• RQ2 低成本USB摄像头设置在支持基于视觉输入的实时互动游戏方面效果如何？
• RQ3 能否通过有意识的眨眼模式编码不同的输入命令（例如左键/右键点击），且延迟极低？
• RQ4 该系统在多大程度上实现了无需传统输入设备的自然、直观的人机交互？
• RQ5 在游戏应用中，基于视觉的接口在帧率和响应速度方面能达到怎样的性能上限？

主要发现

• 系统成功实现实时将鼻尖运动映射为鼠标指针移动，帧率为30 fps。
• 左眼和右眼的眨眼被准确检测，并分别映射为左键和右键点击事件。
• 系统仅使用标准的低成本USB网络摄像头即可有效运行，降低了硬件依赖。
• 该界面通过自然的面部手势实现游戏的无手控制，提升了可访问性和用户参与度。
• 该实现展示了稳定且响应迅速的交互，适用于实时游戏应用。
• 该方法通过利用面部特征作为输入模态，为传统输入设备提供了一种可行的替代方案。