[论文解读] Multi-Scale Structure-Aware Network for Human Pose Estimation

Lipeng Ke, Ming‐Ching Chang+2 more|arXiv (Cornell University)|Mar 27, 2018

Human Pose and Action Recognition参考文献 22被引用 23

一句话总结

本文提出一种用于人体姿态估计的多尺度结构感知网络，通过多尺度监督、多尺度回归、结构感知损失以及关键点掩码训练，增强了深度小时钟模型。该方法在MPII基准上实现了最先进性能，达到88.4%的PCK h分数，并在MPII挑战赛排行榜上领先，有效处理了尺度变化、遮挡以及复杂多人场景问题。

ABSTRACT

We develop a robust multi-scale structure-aware neural network for human pose estimation. This method improves the recent deep conv-deconv hourglass models with four key improvements: (1) multi-scale supervision to strengthen contextual feature learning in matching body keypoints by combining feature heatmaps across scales, (2) multi-scale regression network at the end to globally optimize the structural matching of the multi-scale features, (3) structure-aware loss used in the intermediate supervision and at the regression to improve the matching of keypoints and respective neighbors to infer a higher-order matching configurations, and (4) a keypoint masking training scheme that can effectively fine-tune our network to robustly localize occluded keypoints via adjacent matches. Our method can effectively improve state-of-the-art pose estimation methods that suffer from difficulties in scale varieties, occlusions, and complex multi-person scenarios. This multi-scale supervision tightly integrates with the regression network to effectively (i) localize keypoints using the ensemble of multi-scale features, and (ii) infer global pose configuration by maximizing structural consistencies across multiple keypoints and scales. The keypoint masking training enhances these advantages to focus learning on hard occlusion samples. Our method achieves the leading position in the MPII challenge leaderboard among the state-of-the-art methods.

研究动机与目标

• 解决因输入尺度变化导致的深层姿态估计网络尺度不稳定性问题，以及反卷积金字塔中对单一尺度的过拟合问题。
• 通过引入结构先验，提升在存在遮挡和多人姿态模糊的复杂场景中关键点定位与全局姿态配置的准确性。
• 通过一种新颖的关键点掩码训练方案，增强对遮挡关键点的鲁棒性，使网络更专注于学习困难样本。
• 在无需后处理阶段多尺度推理的前提下，实现一致且高精度的姿态估计，优于先前方法。
• 通过整合多尺度监督与回归，结合结构一致性学习，提升跨尺度与身体部位之间的特征匹配能力。

提出的方法

• 通过在每个反卷积层添加逐层损失项，实现多尺度监督，显式地对反卷积金字塔中各尺度的特征进行监督。
• 引入多尺度回归网络（MSR-net），融合来自多个尺度的关键点热图，执行全局姿态回归并优化结构一致性。
• 设计一种结构感知损失，鼓励连接关键点（如肩-肘-腕）之间的正确相对空间关系，以建模人体身体拓扑结构。
• 应用关键点掩码训练方案，在训练过程中随机掩码真实标注的关键点，迫使网络利用上下文与结构线索推断被遮挡部分。
• 采用两阶段流水线微调整个网络：首先训练多尺度监督网络（MSS-net），然后在结构感知损失下训练多尺度回归网络（MSR-net）。
• 使用残差小时钟架构作为主干网络，通过堆叠间的跳跃连接与跨堆叠跳跃连接，保留多尺度特征。

实验结果

研究问题

• RQ1 在反卷积层之间实施多尺度监督是否能改善特征学习并减少人体姿态估计中的尺度不稳定性？
• RQ2 融合多尺度特征的多尺度回归网络是否能带来更优的全局姿态配置与更精确的关键点定位？
• RQ3 建模关键点之间解剖关系的结构感知损失是否能提升在遮挡或模糊场景下的匹配准确性？
• RQ4 在训练过程中进行关键点掩码在多大程度上提升了对遮挡与困难样本的鲁棒性？
• RQ5 这些组件的整合是否能在无需多尺度推理的前提下，超越现有最先进方法在MPII等基准数据集上的表现？

主要发现

• 所提方法在MPII验证集上达到88.4%的PCK h分数，优于基线小时钟模型（87.1%）与现有最先进方法。
• 仅使用多尺度监督即可将性能从87.1%提升至87.6% PCK h，减少对多尺度推理的依赖，支持单尺度测试。
• 多尺度回归网络在多尺度监督基线基础上额外提升0.4%（达到88.1% PCK h），显著改善全局姿态配置。
• 结构感知损失进一步提升0.3%（达到88.3% PCK h），证明其在建模解剖关系方面的有效性。
• 关键点掩码训练带来0.1%的性能提升（达到88.4% PCK h），表明对遮挡关键点的鲁棒性显著增强。
• 该方法在MPII挑战赛排行榜上位居第一，证实其在真实世界场景中应对尺度变化、遮挡与复杂场景的优越性能。