[论文解读] Structure-Aware 3D Hourglass Network for Hand Pose Estimation from Single Depth Image

Fuyang Huang, Ailing Zeng+3 more|arXiv (Cornell University)|Dec 26, 2018

Human Pose and Action Recognition参考文献 27被引用 13

一句话总结

该论文提出了一种结构感知的3D沙漏网络，直接从3D体素化深度数据回归3D热图以实现手部姿态估计，通过骨骼约束（骨热图）作为中间监督。在MSRA和NYU数据集上分别实现了7.4 mm和8.9 mm的平均关节点误差，达到当前最优性能，展现出更高的精度和对深度噪声的鲁棒性。

ABSTRACT

In this paper, we propose a novel structure-aware 3D hourglass network for hand pose estimation from a single depth image, which achieves state-of-the-art results on MSRA and NYU datasets. Compared to existing works that perform image-to-coordination regression, our network takes 3D voxel as input and directly regresses 3D heatmap for each joint. To be specific, we use hourglass network as our backbone network and modify it into 3D form. We explicitly model tree-like finger bone into the network as well as in the loss function in an end-to-end manner, in order to take the skeleton constraints into consideration. Final estimation can then be easily obtained from voxel density map with simple post-processing. Experimental results show that the proposed structure-aware 3D hourglass network is able to achieve a mean joint error of 7.4 mm in MSRA and 8.9 mm in NYU datasets, respectively.

研究动机与目标

• 解决从存在自遮挡和噪声的单张深度图像中进行高维、非线性手部姿态回归的挑战。
• 通过基于体素的3D卷积神经网络而非2D投影，保留3D空间信息以提升精度。
• 在网络架构中显式建模手部骨骼约束（树状结构的指骨）。
• 通过减少真实世界深度传感器中常见缺陷像素（如黑点）的影响，提升模型泛化能力与鲁棒性。
• 实现端到端的关节点与骨骼热图学习，最大限度减少后处理步骤。

提出的方法

• 将输入的深度图像转换为相机坐标系下的3D体素网格，并作为带有残差块的3D沙漏网络的输入。
• 网络为每个关节点回归3D热图，并在每个沙漏堆栈的最终层额外预测骨骼热图。
• 骨骼热图作为损失函数中的中间监督，显式建模手部骨骼的分层树状结构。
• 通过联合损失函数（关节点热图损失与骨骼热图损失）进行端到端训练，实现骨骼感知的优化。
• 通过简单的后处理在3D热图上进行峰值检测，提取最终的关节点位置。
• 架构采用3D残差块（ResNet）作为构建模块，以捕捉多尺度3D特征。

实验结果

研究问题

• RQ1 基于体素的3D回归方法是否能在保留深度信息方面优于基于2D投影的方法？
• RQ2 通过骨骼热图实现的显式骨骼约束是否能提升关节点估计的精度？
• RQ3 使用骨骼热图作为中间监督是否能提升在噪声深度数据上的泛化能力？
• RQ4 与当前最先进方法相比，该方法在平均关节点误差和成功率方面表现如何？
• RQ5 结合3D残差块的3D沙漏架构是否在手部姿态估计的端到端3D热图回归中表现有效？

主要发现

• 在MSRA数据集上，该方法实现了7.4 mm的平均关节点误差，在当前最先进方法中排名第二。
• 在NYU数据集上，该方法实现了8.9 mm的平均关节点误差，优于大多数现有方法，包括基于3D CNN的V2V-net。
• 由于采用3D体素表示，该方法对深度噪声（如结构光相机产生的黑点）表现出更优的鲁棒性。
• 消融实验表明，加入骨骼热图监督可提升关节点估计精度，对比有无骨骼损失的实验结果验证了这一点。
• 该系统在相同GPU上运行速度约为10.8 fps，显著快于V2V-net报告的3.5 fps。
• 定性结果表明，手指骨骼对齐更自然，关节点漂移更少，证实了骨骼约束的有效性。