[论文解读] Towards Good Practices for Deep 3D Hand Pose Estimation

Hengkai Guo, Guijin Wang+2 more|ArXiv.org|Jul 23, 2017

Human Pose and Action Recognition参考文献 5被引用 48

一句话总结

本文提出了一种用于从单张深度图像进行3D手部姿态估计的区域集成网络（REN），通过在卷积神经网络（ConvNet）的空间分区特征图上使用树状结构的全连接回归器集成，实现性能提升。通过融合层整合区域特定的预测结果，并结合数据增强和光滑L1损失函数，REN在三个公开的手部姿态估计数据集上达到最先进性能，尤其在指尖检测和人体姿态估计方面表现优异。

ABSTRACT

3D hand pose estimation from single depth image is an important and challenging problem for human-computer interaction. Recently deep convolutional networks (ConvNet) with sophisticated design have been employed to address it, but the improvement over traditional random forest based methods is not so apparent. To exploit the good practice and promote the performance for hand pose estimation, we propose a tree-structured Region Ensemble Network (REN) for directly 3D coordinate regression. It first partitions the last convolution outputs of ConvNet into several grid regions. The results from separate fully-connected (FC) regressors on each regions are then integrated by another FC layer to perform the estimation. By exploitation of several training strategies including data augmentation and smooth $L_1$ loss, proposed REN can significantly improve the performance of ConvNet to localize hand joints. The experimental results demonstrate that our approach achieves the best performance among state-of-the-art algorithms on three public hand pose datasets. We also experiment our methods on fingertip detection and human pose datasets and obtain state-of-the-art accuracy.

研究动机与目标

• 提升深度卷积神经网络在从单张深度图像进行3D手部姿态估计中的性能，因为相较于传统随机森林方法，其性能提升空间有限。
• 通过有效的深度学习实践，解决高关节约束性、自遮挡、视角差异以及深度质量差等挑战。
• 开发一种计算效率高、单一架构的替代方案，以取代多卷积神经网络集成，同时保持高精度。
• 将所提方法的适用性扩展至手部姿态估计之外的其他任务，如指尖检测和人体姿态估计。

提出的方法

• 该方法将卷积神经网络的最终特征图划分为多个空间区域（例如4×4网格），以支持局部回归。
• 每个区域由独立的全连接（FC）回归器处理，分别预测3D关节点坐标。
• 所有区域特定回归器的输出被拼接后输入最终的融合全连接层，生成最终的3D姿态预测结果。
• 网络采用端到端训练方式，使用光滑L1损失函数以增强对异常值的鲁棒性。
• 应用数据增强技术，包括随机图像翻转和裁剪，以提升泛化能力并减少过拟合。
• 在基础卷积神经网络中引入残差连接，以稳定训练过程并提升特征学习能力。

实验结果

研究问题

• RQ1 一个具有区域集成结构的单一深度卷积神经网络，是否能在从深度图像进行3D手部姿态估计的任务中超越现有最先进方法？
• RQ2 与传统的模型集成或多视角测试相比，区域集成策略在基于回归的手部姿态估计中效果如何？
• RQ3 诸如数据增强和光滑L1损失等训练技术，在小规模手部姿态估计数据集上能多大程度上提升性能？
• RQ4 所提出的REN架构能否在无需在目标数据集上微调的情况下，泛化到其他RGB-D任务（如指尖检测和人体姿态估计）并取得具有竞争力的结果？

主要发现

• REN在三个公开的手部姿态估计数据集（ICVL、NYU和MSRA）上均取得最佳性能，超越所有先前的最先进方法。
• 在NYU数据集上，REN实现15.6mm的指尖检测误差，为所有对比方法中最低，平均精度（mP）达到0.66。
• 在ITOP数据集上，REN在前视图人体姿态估计任务中达到84.9 mAP，显著优于RTW和REF，且在俯视图中也表现出色。
• 区域集成方法在准确率、内存占用和推理成本方面均优于传统袋装法和多视角测试。
• 消融实验证实，数据增强和光滑L1损失显著提升了小样本数据集上的泛化能力并减少了过拟合。
• 该方法在手部姿态估计之外的任务中也表现出良好的泛化能力，在无需微调的情况下，于指尖检测和人体姿态估计任务中均取得最先进结果。