[论文解读] Static Gesture Recognition using Leap Motion

Babak Toghiani-Rizi, Christofer Lind+2 more|arXiv (Cornell University)|May 16, 2017

Hand Gesture Recognition Systems参考文献 5被引用 3

一句话总结

本文提出了一种使用Leap Motion传感器和机器学习的静态手势识别系统，以实现通过手势订购饮品和食物的自动调酒师界面。通过使用从指尖到手掌距离提取的归一化10维特征向量，结合k-最近邻分类器，该系统在分类八种不同手势时实现了95%的平均准确率，证明了其作为人类调酒师补充工具的可行性，尽管存在伦理限制。

ABSTRACT

In this report, an automated bartender system was developed for making orders in a bar using hand gestures. The gesture recognition of the system was developed using Machine Learning techniques, where the model was trained to classify gestures using collected data. The final model used in the system reached an average accuracy of 95%. The system raised ethical concerns both in terms of user interaction and having such a system in a real world scenario, but it could initially work as a complement to a real bartender.

研究动机与目标

• 开发一种基于手势的酒吧点单系统，以改善嘈杂环境中的沟通。
• 探索使用Leap Motion在真实应用场景中实现高精度静态手势识别的可行性。
• 评估机器学习模型在最小用户定制化情况下的手势分类性能。
• 解决在公共服务业环境中部署自动化手势系统所面临的实际与伦理挑战。

提出的方法

• 从约20名参与者处收集了528个手势样本，每人执行八种不同手势各三次。
• 使用每个指尖到对应手掌中心的欧氏距离提取10维特征向量。
• 将每只手的5根手指距离归一化至[0,1]区间，以确保对不同手部尺寸的尺度不变性。
• 使用主成分分析（PCA）降低特征维度，以支持可视化与分析。
• 在TensorFlow上训练并比较三种模型：k-最近邻（k=2）、多层感知机（MLP）和多项式逻辑回归（MLR）。
• 通过视觉和音频提示实现实时反馈，以增强用户交互性和可访问性。

实验结果

研究问题

• RQ1 Leap Motion能否准确捕捉并分类静态手势，以支持实时调酒师界面？
• RQ2 在小型真实手势数据集上，k-最近邻模型的性能与神经网络模型（MLP和MLR）相比如何？
• RQ3 对相对手指距离进行归一化在多大程度上提升了跨不同手部尺寸的识别鲁棒性？
• RQ4 在公共环境中部署自动化手势调酒系统面临哪些关键伦理挑战？
• RQ5 尽管在决策能力和包容性方面存在局限，该系统是否仍可作为人类调酒师的可行补充？

主要发现

• k-最近邻模型在给定数据集上取得了95%的最高分类准确率，优于MLP和MLR模型。
• 将手指距离相对于每只手自身范围进行归一化，显著提升了模型在不同手部尺寸下的鲁棒性。
• PCA可视化显示手势类别存在部分聚类，其中Init和Food类别表现出明显重叠，表明存在误分类的潜在风险。
• 该系统在实时手势识别方面表现出色，支持在受控酒吧环境中实际应用。
• 尽管准确率较高，该系统仍引发重大伦理担忧，包括排除无十根功能手指用户的可能性，以及缺乏酒精销售决策能力。
• 该系统的开源实现已发布于GitHub，支持研究的复现与进一步拓展。