[论文解读] SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation

John Yang, Hyung Jin Chang+2 more|arXiv (Cornell University)|Jul 10, 2020

Human Pose and Action Recognition参考文献 50被引用 4

一句话总结

该论文提出SeqHAND，一种基于RGB序列的新型3D手部姿态与形状估计框架，通过合成序列数据集和基于循环ConvLSTM的网络，利用时间运动动态实现。通过从静态标注生成姿态流，并在合成到真实域适应过程中保留视觉-时间特征，该方法在平滑性与自然性方面优于逐帧基线方法，实现了最先进性能。

ABSTRACT

3D hand pose estimation based on RGB images has been studied for a long time. Most of the studies, however, have performed frame-by-frame estimation based on independent static images. In this paper, we attempt to not only consider the appearance of a hand but incorporate the temporal movement information of a hand in motion into the learning framework for better 3D hand pose estimation performance, which leads to the necessity of a large scale dataset with sequential RGB hand images. We propose a novel method that generates a synthetic dataset that mimics natural human hand movements by re-engineering annotations of an extant static hand pose dataset into pose-flows. With the generated dataset, we train a newly proposed recurrent framework, exploiting visuo-temporal features from sequential images of synthetic hands in motion and emphasizing temporal smoothness of estimations with a temporal consistency constraint. Our novel training strategy of detaching the recurrent layer of the framework during domain finetuning from synthetic to real allows preservation of the visuo-temporal features learned from sequential synthetic hand images. Hand poses that are sequentially estimated consequently produce natural and smooth hand movements which lead to more robust estimations. We show that utilizing temporal information for 3D hand pose estimation significantly enhances general pose estimations by outperforming state-of-the-art methods in experiments on hand pose estimation benchmarks.

研究动机与目标

• 解决用于3D手部姿态估计的大规模、真实感RGB序列手部图像数据集稀缺的问题。
• 通过引入超越静态图像外观的时间运动动态，提升3D手部姿态估计性能。
• 通过在域适应过程中保留视觉-时间特征，减小合成到真实域之间的域差距。
• 开发一种循环深度学习框架，直接利用RGB序列输入进行联合3D姿态与形状估计。
• 提升对遮挡的鲁棒性，并改善手部运动估计的时间一致性。

提出的方法

• 提出一种姿态流生成方法，将BigHand2.2M数据集中的静态手部姿态标注重新工程化为合成RGB手部图像的时间一致序列。
• 引入一种基于ConvLSTM层的循环编码器-解码器框架，用于建模图像序列中的视觉-时间依赖性，以实现3D手部姿态与形状预测。
• 采用时间一致性损失，惩罚连续姿态估计之间的大幅跳跃，以强制实现平滑的运动轨迹。
• 设计一种新颖的域适应策略，在从合成数据微调到真实数据时解耦循环层，以保留学习到的时间特征。
• 采用多阶段训练流程：在合成SeqHAND数据集上预训练，然后在真实数据上微调，同时保持ConvLSTM层冻结以维持时间表征。
• 利用3D手部模型（MANO）从图像特征回归3D关节点位置和形状参数。

实验结果

研究问题

• RQ1 与逐帧方法相比，序列RGB图像中的时间运动信息是否能显著提升3D手部姿态估计的准确性？
• RQ2 具有真实感姿态流的合成数据集是否能有效训练深度学习模型，以实现对真实世界RGB序列的泛化？
• RQ3 在合成到真实域适应过程中保留视觉-时间特征是否能带来优于端到端微调的性能提升？
• RQ4 时间建模是否能提升3D手部姿态估计对遮挡和自遮挡的鲁棒性？
• RQ5 在合成序列上训练的循环网络是否能产生比仅依赖外观的基线方法更自然、更平滑的手部运动轨迹？

主要发现

• 所提方法在STB、ED和DO基准上均达到最先进性能，在ED数据集上的3D-PCK@10阈值为89.7%，在DO数据集上为85.3%。
• 在真实域微调过程中解耦ConvLSTM层后，模型保留了视觉-时间特征，相比基线微调方法，3D-PCK绝对提升5.2%。
• SeqHAND-Net的形状参数（β）平均时间差为4.16×10⁻¹¹，而逐帧估计方法为2.38×10⁻⁵，表明形状演化显著更平滑。
• SeqHAND-Net帧间姿态参数差（θ）的平均值为1.88×10⁻⁶，而逐帧方法为6.90×10⁻⁶，证实了时间平滑性的增强。
• 该模型在遮挡情况下表现出更优的鲁棒性，尤其在DO数据集（严重遮挡）上，优于依赖外部2D姿态估计器的方法。
• 定性结果表明，SeqHAND-Net生成自然、流畅的手部运动轨迹，而逐帧方法在帧间表现出不自然的跳跃和姿态不一致。