[论文解读] The 2017 Hands in the Million Challenge on 3D Hand Pose Estimation

Shanxin Yuan, Qi Ye+2 more|arXiv (Cornell University)|Jul 7, 2017

Human Pose and Action Recognition参考文献 7被引用 49

一句话总结

本论文介绍了2017年‘百万双手挑战’，这是一个基于BigHand2.2M和第一人称手部动作数据集的大型基准，包含超过一百万张完全标注的深度图像，用于3D手部姿态估计。该挑战通过标准化指标（包括考虑可见性的误差度量和频率加权误差度量）对当前最先进的方法在单帧估计和时序跟踪两个任务上的表现进行评估，以识别现有方法的优势与失败模式。

ABSTRACT

We present the 2017 Hands in the Million Challenge, a public competition designed for the evaluation of the task of 3D hand pose estimation. The goal of this challenge is to assess how far is the state of the art in terms of solving the problem of 3D hand pose estimation as well as detect major failure and strength modes of both systems and evaluation metrics that can help to identify future research directions. The challenge follows up the recent publication of BigHand2.2M and First-Person Hand Action datasets, which have been designed to exhaustively cover multiple hand, viewpoint, hand articulation, and occlusion. The challenge consists of a standardized dataset, an evaluation protocol for two different tasks, and a public competition. In this document we describe the different aspects of the challenge and, jointly with the results of the participants, it will be presented at the 3rd International Workshop on Observing and Understanding Hands in Action, HANDS 2017, with ICCV 2017.

研究动机与目标

• 建立一个标准化的、大规模的3D手部姿态估计基准，以实现对不同方法的公平且系统化的评估。
• 评估当前3D手部姿态估计技术的最先进水平，特别是在遮挡和多样的手部形状与姿态等挑战性场景下的表现。
• 识别现有方法和评估度量的失败与成功模式，以指导未来的研究方向。
• 提供一个公开竞赛，配备标准化数据集和评估协议，以激发该领域的创新。
• 在真实条件下（包括第一人称视角和手-物体交互）评估性能，使用一组新的考虑可见性和频率的度量方法。

提出的方法

• 该挑战使用来自BigHand2.2M和第一人称手部动作（FHAD）数据集的超过一百万张深度图像，采样自Intel RealSense SR300，分辨率为640×480。
• 通过基于磁传感器的系统和逆运动学方法生成21个手部关节的真值3D关节标注，确保高精度。
• 数据集包含两个主要任务：3D手部姿态跟踪（使用第一帧标注预测完整序列）和单帧3D手部姿态估计（提供边界框）。
• 评估使用标准度量（平均误差、ε内关节准确率、帧级准确率）和新颖的度量，以考虑关节可见性和姿态频率。
• 采用频率加权方案，为不同姿态簇分配反比于聚类大小的权重，提高对罕见手部构型的评估敏感性。
• 参赛者可获得完整的训练标注，但需在隐藏测试集上进行预测，结果通过结合多个度量的公共排行榜进行评估。

实验结果

研究问题

• RQ1 当前3D手部姿态估计方法在多样化手部形状、姿态和视角（包括第三人称和第一人称视角）下的泛化能力如何？
• RQ2 在严重遮挡情况下，尤其是手-物体交互期间，现有方法的失败模式是什么？
• RQ3 与标准度量相比，考虑可见性和频率的评估度量在检测性能差距方面有何改进？
• RQ4 姿态稀有性（例如罕见手指构型）在多大程度上影响估计精度？加权度量是否能更好地反映现实世界中的挑战？
• RQ5 在长序列和遮挡场景下，跟踪方法与单帧估计方法在鲁棒性和准确率方面有何差异？

主要发现

• 该挑战数据集包含873,000张训练帧，187,000张用于跟踪的测试帧，187,000张用于单帧估计的测试帧，覆盖10名受试者和多种观测条件。
• 测试集包含5名未见受试者的第一人称视角，以及5名已见受试者序列的后半部分，可评估对新个体的泛化能力。
• 从FHAD数据集引入的5,400帧图像引入了由物体交互导致的真实遮挡场景，这在现有基准中较为罕见。
• 所提出的频率加权误差度量为罕见姿态赋予更高权重，揭示出当前方法在不常见构型上的表现通常较差。
• 考虑可见性的评估显示，被遮挡的关节（如因自遮挡或物体接触）始终更难预测，其准确率较低。
• 该挑战表明，尽管平均误差和关节准确率度量具有参考价值，但帧级准确率（r_f）是更严格的度量标准，最佳模型在ε = 20mm时r_f ≈ 0.75。