[论文解读] Virtual Mouse And Assistant: A Technological Revolution Of Artificial Intelligence

Jagbeer Singh, Yash Goel+2 more|arXiv (Cornell University)|Mar 11, 2023

AI in Service Interactions被引用 4

一句话总结

本文提出了一种创新的人机交互系统，整合了虚拟鼠标与基于人工智能的助手，利用计算机视觉技术实现基于手势的光标控制与任务自动化。通过单个摄像头，系统将食指和中指手势映射为鼠标移动与点击操作，同时将人工智能助手功能从基础搜索扩展至完整的媒体控制与对谷歌和YouTube等平台的自动化网络交互。

ABSTRACT

The purpose of this paper is to enhance the performance of the virtual assistant. So, what exactly is a virtual assistant. Application software, often called virtual assistants, also known as AI assistants or digital assistants, is software that understands natural language voice commands and can perform tasks on your behalf. What does a virtual assistant do. Virtual assistants can complete practically any specific smartphone or PC activity that you can complete on your own, and the list is continually expanding. Virtual assistants typically do an impressive variety of tasks, including scheduling meetings, delivering messages, and monitoring the weather. Previous virtual assistants, like Google Assistant and Cortana, had limits in that they could only perform searches and were not entirely automated. For instance, these engines do not have the ability to forward and rewind the song in order to maintain the control function of the song; they can only have the module to search for songs and play them. Currently, we are working on a project where we are automating Google, YouTube, and many other new things to improve the functionality of this project. Now, in order to simplify the process, we've added a virtual mouse that can only be used for cursor control and clicking. It receives input from the camera, and our index finger acts as the mouse tip, our middle finger as the right click, and so forth.

研究动机与目标

• 为克服现有虚拟助手（如Google Assistant和Cortana）缺乏完整自动化与媒体控制功能的局限性。
• 通过将手势作为输入，实现直观的手势控制，以增强人机交互体验。
• 开发一种支持对YouTube和Google等网页应用实现自动化交互的系统，包括媒体播放控制。
• 集成虚拟鼠标功能，利用实时计算机视觉技术将手指手势映射为光标移动与点击操作。
• 创建一个统一界面，结合人工智能助手功能与直接的硬件式控制，以提升用户效率。

提出的方法

• 使用单个摄像头捕获实时视频输入以检测手势。
• 采用计算机视觉算法识别并追踪食指作为虚拟鼠标指针。
• 将中指映射为右键点击功能，实现上下文菜单访问。
• 集成人工智能助手模块，以解析自然语言语音指令并执行自动化任务。
• 将助手功能扩展至搜索之外，包括在YouTube和Google上实现媒体控制（播放、暂停、快进、倒放）。
• 结合手势识别与基于自然语言处理的任务自动化，实现对网页应用的端到端控制。

实验结果

研究问题

• RQ1 如何有效利用手势识别技术在虚拟环境中替代传统鼠标输入？
• RQ2 虚拟助手在支持基本搜索与播放之外，其媒体控制功能可扩展到何种程度？
• RQ3 结合基于手势的导航与人工智能驱动的任务自动化，能否提升用户交互效率？
• RQ4 使用单个摄像头实时准确地将手指手势映射为鼠标操作面临哪些技术挑战？
• RQ5 将人工智能助手功能与虚拟鼠标控制相结合，对系统整体可用性与响应速度有何影响？

主要发现

• 系统成功利用计算机视觉技术实现实时响应的食指移动到虚拟鼠标光标控制。
• 通过中指手势准确模拟右键点击功能，实现无需物理输入设备的上下文菜单访问。
• 人工智能助手组件不仅支持搜索，还扩展至媒体控制，包括在YouTube和Google上实现播放、暂停、快进与倒放。
• 手势导航与人工智能任务自动化相结合，实现了无需手动键盘或鼠标输入的网页应用端到端控制。
• 系统在无需双手操作的交互场景中表现出更优的可用性，尤其适用于需要持续媒体或应用控制的场景。
• 该方法实现了无缝且直观的界面，减少了对传统输入设备的依赖，同时保持了高精度的任务自动化能力。