[论文解读] Stacked Hourglass Networks for Human Pose Estimation

Alejandro Newell, Kaiyu Yang+1 more|arXiv (Cornell University)|Mar 22, 2016

Human Pose and Action Recognition参考文献 41被引用 536

一句话总结

引入带有中间监督的堆叠 Hourglass 卷积网络，用于预测人体姿态热图，在 FLIC 和 MPII 基准测试中达到最先进的结果。

ABSTRACT

This work introduces a novel convolutional network architecture for the task of human pose estimation. Features are processed across all scales and consolidated to best capture the various spatial relationships associated with the body. We show how repeated bottom-up, top-down processing used in conjunction with intermediate supervision is critical to improving the performance of the network. We refer to the architecture as a "stacked hourglass" network based on the successive steps of pooling and upsampling that are done to produce a final set of predictions. State-of-the-art results are achieved on the FLIC and MPII benchmarks outcompeting all recent methods.

研究动机与目标

• 开发一个卷积架构，以跨越多尺度捕获并整合信息，从而实现对关键点的精确定位。
• 证明通过堆叠 Hourglass 模块进行重复的自下而上、自上而下推理可以改进姿态估计。
• 展示中间监督在训练多阶段姿态预测网络中的好处。
• 在标准姿态基准（FLIC 和 MPII）上达到最先进的性能。

提出的方法

• 提出一个对称的 hourglass 模块，处理高分辨率到低分辨率再回来的特征，使用最近邻上采样和跳跃连接来融合多尺度信息。
• 端到端堆叠多个 hourglass 模块，且不共享权重，以实现重复的自下而上、自上而下的细化。
• 通过在每个 hourglass 之后产生热图并应用损失来引导训练，纳入中间监督。
• 在每个 hourglass 中使用残差模块，以控制参数数量并通过瓶颈设计实现更深的结构。
• 以均方误差热图损失对齐真实高斯热图进行训练，同时进行数据增强和批量归一化。
• 在 FLIC 和 MPII 上使用 PCK 与 PCKh 指标进行评估，并在测试阶段对图像进行翻转以获得预测。

实验结果

研究问题

• RQ1 在等效参数数量下，堆叠多个 hourglass 模块是否能超越单个 hourglass 的姿态估计精度？
• RQ2 中间监督对训练动态和最终精度的影响是什么？
• RQ3 在实际中，所提出的网络如何处理遮挡和近距离多人等挑战？
• RQ4 是否可以在没有图形模型或显式人体先验的情况下，采用纯卷积、基于热图的方法达到最先进的结果？

主要发现

• 带有中间监督的八小时glass堆叠网络在 MPII 上达到最先进的结果，对困难关节（肘部和手腕）有显著改进。
• 在 FLIC 上，模型对肘部达到 99.0% PCK@0.2，对手腕达到 97.0%。
• 最终模型在 MPII 的各关节准确度：Head 98.2, Shoulder 96.3, Elbow 91.2, Wrist 87.1, Hip 90.1, Knee 87.4, Ankle 83.6, Total 90.9。
• 堆叠 hourglasses 相较于少数堆叠提供一致的精度提升，中间监督与堆叠结合时可获得额外提升。
• 该方法能够在图像中针对单个人、存在遮挡及近距离人物的情形预测姿态，尽管遮挡仍是一个重大挑战。
• 预测以热图形式生成，后处理选择每个关节的最大激活值；测试时增强包括翻转图像并对热图进行平均。