[论文解读] What's the point? Frame-wise Pointing Gesture Recognition with Latent-Dynamic Conditional Random Fields

Christian Wittner, Boris Schauerte+1 more|arXiv (Cornell University)|Oct 20, 2015

Hand Gesture Recognition Systems参考文献 23被引用 4

一句话总结

本论文提出一种基于深度传感器（如Kinect）骨骼数据的逐帧指向手势识别系统，采用潜在动态条件随机场（LDCRFs）进行建模。该系统实现了83%的逐帧准确率，并以0.63%的低误报率检测连续指向手势，能够实时、无需用户特定训练地支持人机交互（HRI）应用，实现对手势的实时识别。

ABSTRACT

We use Latent-Dynamic Conditional Random Fields to perform skeleton-based pointing gesture classification at each time instance of a video sequence, where we achieve a frame-wise pointing accuracy of roughly 83%. Subsequently, we determine continuous time sequences of arbitrary length that form individual pointing gestures and this way reliably detect pointing gestures at a false positive detection rate of 0.63%.

研究动机与目标

• 实现实时、连续的指向手势检测，支持自然的人机交互（HRI）。
• 解决使用深度摄像头骨骼输入检测指向手势时的低误报率挑战。
• 通过建模手势序列中的复杂时间动态和长距离依赖关系，超越传统HMM和CRF方法。
• 基于使用微软Kinect采集的新数据集，开发一种鲁棒的、与用户无关的指向手势检测系统。
• 在手势执行过程中实现早期反馈，例如机器人头部实时朝向目标区域移动。

提出的方法

• 利用潜在动态条件随机场（LDCRFs）对基于骨骼的手势序列中的时间依赖性和潜在状态进行建模。
• 以微软Kinect获取的关节位置数据作为输入特征，实现逐帧手势分类。
• 通过时间上的中值滤波抑制短暂的误分类，提取连续的指向手势片段。
• 采用自定义状态机进行序列评估，以区分正确检测、误报、重叠检测和漏检手势。
• 基于18名受试者执行指向手势的新颖、多样化数据集，对LDCRFs进行训练，以确保与用户无关的性能。
• 在相同数据集和评估协议下，与基于HMM的基线系统进行性能对比。

实验结果

研究问题

• RQ1 LDCRF在基于骨骼数据的逐帧指向手势分类中是否优于传统HMM和CRF？
• RQ2 基于LDCRF的系统在实时检测连续指向手势时，是否能实现低误报率？
• RQ3 该系统在不引入误报的情况下，对模糊手势阶段（如上升、下降、指向）的处理能力如何？
• RQ4 系统是否能在手势执行过程中实时检测到指向手势，从而实现实时反馈？
• RQ5 帧分组与滤波策略对手势序列分割准确率的影响如何？

主要发现

• LDCRF实现了83%的逐帧指向手势分类准确率，显著优于HMM基线系统。
• 系统以仅0.63%的误报率检测到连续指向手势，表现出高度可靠性。
• 与HMM基线相比，LDCRF在精确匹配结束帧的指向手势序列中识别率提高了20.32%（对比基线的0.21%）。
• 系统存在16.42%的重叠检测率（即两个手势被合并为一个），表明在序列分割方面仍有改进空间。
• 尽管HMM在非指向阶段的帧级召回率更高，但LDCRF的误报率更低（0.63% vs. 0.83%），表明其更优的误报控制能力。
• 研究表明，在指向手势过程中选择最优目标物体推断时机，可将分类准确率提升最高达10%。