[论文解读] Training a Feedback Loop for Hand Pose Estimation

Markus Oberweger, Paul Wohlhart+1 more|arXiv (Cornell University)|Sep 30, 2016

Human Pose and Action Recognition参考文献 28被引用 15

一句话总结

本文提出一种基于数据驱动的反馈循环，用于基于深度图像的3D手部姿态估计，利用深度神经网络替代传统的3D模型拟合方法，采用可微分渲染实现图像合成与姿态更新。该方法通过最小化合成深度图像与输入图像之间的差异，迭代优化由CNN初始预测的姿态，实现超过400 fps的推理速度，并在无需显式模型拟合的情况下达到最先进（SOTA）的精度。

ABSTRACT

We propose an entirely data-driven approach to estimating the 3D pose of a hand given a depth image. We show that we can correct the mistakes made by a Convolutional Neural Network trained to predict an estimate of the 3D pose by using a feedback loop. The components of this feedback loop are also Deep Networks, optimized using training data. They remove the need for fitting a 3D model to the input data, which requires both a carefully designed fitting function and algorithm. We show that our approach outperforms state-of-the-art methods, and is efficient as our implementation runs at over 400 fps on a single GPU.

研究动机与目标

• 消除基于深度图像的手部姿态估计中对显式3D手部模型拟合的依赖。
• 通过深度网络反馈循环学习迭代修正，提升姿态估计精度。
• 在超越现有方法的同时，实现实时性能（超过400 fps）。
• 证明端到端学习的姿态优化可超越传统基于优化的方法。

提出的方法

• 首个卷积神经网络（CNN）从深度图像中预测初始3D手部姿态。
• 第二个CNN通过可微分渲染过程，从预测姿态生成合成深度图像。
• 第三个深度网络（更新器）通过比较输入深度图像与合成图像，学习预测姿态修正量。
• 通过反复应用预测的更新量，迭代优化姿态，该过程重复多轮。
• 所有组件——初始姿态预测器、图像合成器和更新器——均在真实深度图像与真实姿态标签上进行端到端训练。
• 反馈循环使模型能够探索训练数据中未包含的姿态空间区域，从而提升对初始化误差的鲁棒性。

实验结果

研究问题

• RQ1 是否可通过学习的反馈循环在不依赖显式3D模型拟合的情况下提升3D手部姿态估计性能？
• RQ2 通过深度网络实现的迭代优化能否在精度与速度上超越传统基于优化的方法？
• RQ3 端到端训练的反馈系统是否能更好地泛化至具有挑战性的姿态、遮挡与噪声情况？
• RQ4 该方法是否能在保持高精度的同时实现实时性能（如>400 fps）？

主要发现

• 该方法在单张GPU上实现超过400 fps的推理速度，显著优于通常运行在12–60 fps之间的基于模型的方法。
• 反馈循环在降低姿态误差方面优于基于图像的优化方法，后者常导致初始估计质量下降。
• 该方法在所有初始姿态下均提升了姿态精度，尤其在拇指等具有挑战性的关节上取得显著改进。
• 在NYU数据集上的实验证明，该方法对噪声、遮挡和缺失深度值具有强鲁棒性。
• 更新器网络即使在初始预测与真实姿态相距甚远时，也能成功学习纠正姿态误差，表现为向量更新逐步收敛至真实关节位置。
• 该方法在多样化手部姿态上具有良好泛化能力，且无需针对手部设计专用网络结构或人工初始化。