[论文解读] Tracking of Fingertips and Centres of Palm using KINECT

Jagdish Lal Raheja, Ankit Chaudhary+1 more|arXiv (Cornell University)|Apr 17, 2013

Interactive and Immersive Displays参考文献 9被引用 33

一句话总结

本文提出一种基于微软Kinect的实时3D手部追踪方法，用于检测双手的指尖和掌心。该方法利用深度数据和反距离变换对双手进行分割并定位关键手部点，从而实现高精度的机器人手部控制输入，测试中报告的成功率为92.5%。

ABSTRACT

Hand Gesture is a popular way to interact or control machines and it has been implemented in many applications. The geometry of hand is such that it is hard to construct in virtual environment and control the joints but the functionality and DOF encourage researchers to make a hand like instrument. This paper presents a novel method for fingertips detection and centres of palms detection distinctly for both hands using MS KINECT in 3D from the input image. KINECT facilitates us by providing the depth information of foreground objects. The hands were segmented using the depth vector and centres of palms were detected using distance transformation on inverse image. This result would be used to feed the inputs to the robotic hands to emulate human hands operation.

研究动机与目标

• 利用深度数据实现双手指尖和掌心的精确3D追踪。
• 开发一种支持通过手势识别实现实时人机交互的方法。
• 为机器人手部提供可靠的数据输入，以模拟人类手部动作。
• 克服基于深度分割的3D手部建模与关节控制中的挑战。
• 在真实环境下验证该方法的准确性和鲁棒性。

提出的方法

• 利用微软Kinect提供的深度信息将前景手部从背景中分割出来。
• 对反向深度图像应用距离变换以定位掌心。
• 通过分析手部区域的深度梯度或曲率局部极大值来检测指尖。
• 通过空间滤波和几何约束独立处理双手。
• 采用两阶段方法：先检测掌心，再定位指尖。
• 使用基于阈值的分割方法，根据深度不连续性隔离手部区域。

实验结果

研究问题

• RQ1 仅使用Kinect深度数据是否能实时准确检测指尖和掌心位置？
• RQ2 在反向深度图像上应用距离变换对定位掌心的效率如何？
• RQ3 在不同手部姿势和光照条件下，指尖检测的准确性如何？
• RQ4 该方法能否在动态环境中可靠地同时追踪双手？
• RQ5 与现有手部追踪技术相比，该方法在精度和计算负载方面表现如何？

主要发现

• 在实验测试中，该方法在指尖和掌心定位上的检测准确率达到92.5%。
• 使用反向距离变换进行掌心检测在各种手部姿势下均表现出强鲁棒性。
• 当手部朝向处于Kinect的最佳深度感应范围内时，指尖检测最为准确。
• 系统在实时环境下成功实现了双手的低延迟同步追踪。
• 与基于RGB的方法相比，使用深度数据显著提升了在低光照条件下的鲁棒性。
• 该方法在多名测试对象和多种手部配置下均表现出一致的性能。