[论文解读] Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation

Jia Li, Wen Su+1 more|arXiv (Cornell University)|Nov 24, 2019

Human Pose and Action Recognition参考文献 29被引用 10

一句话总结

本文提出 Simple Pose，一种新颖的自下而上的多人姿态估计方法，通过更直观的身体部位表示、注意力增强的堆叠沙漏网络、用于困难样本挖掘的焦点L2损失，以及一种鲁棒的贪心关键点分配算法，提升了关键点定位与关联性能。该方法在 MS-COCO test-dev 数据集上相较基线模型 CMU-Pose 实现了 15.1% 的平均精度（AP）绝对提升，优于当前最先进的自下而上方法，并在使用相同主干网络的情况下与自上而下方法相当。

ABSTRACT

We rethink a well-know bottom-up approach for multi-person pose estimation and propose an improved one. The improved approach surpasses the baseline significantly thanks to (1) an intuitional yet more sensible representation, which we refer to as body parts to encode the connection information between keypoints, (2) an improved stacked hourglass network with attention mechanisms, (3) a novel focal L2 loss which is dedicated to hard keypoint and keypoint association (body part) mining, and (4) a robust greedy keypoint assignment algorithm for grouping the detected keypoints into individual poses. Our approach not only works straightforwardly but also outperforms the baseline by about 15% in average precision and is comparable to the state of the art on the MS-COCO test-dev dataset. The code and pre-trained models are publicly available online.

研究动机与目标

• 为解决现有自下而上姿态估计方法在关键点定位精度及对遮挡与尺度变化鲁棒性方面的局限性。
• 通过用更直观有效的身体部位表示替代部分亲和场（PAFs），改进关键点关联（分组）过程。
• 通过引入空间与通道注意力机制增强的堆叠沙漏网络，提升特征学习与热力图质量。
• 设计一种训练目标，优先关注关键点检测与关键点关联中的困难样本，提升在挑战性情况下的泛化能力。
• 在不依赖人体检测器或模型集成的前提下，实现自下而上姿态估计的最先进性能，同时保持推理效率。

提出的方法

• 提出一种新的身体部位表示方法，用于编码关键点连接关系，以更简单且语义更明确的结构替代复杂的部分亲和场（PAFs）。
• 提出一种改进的堆叠沙漏网络，集成空间与通道注意力模块，以生成高分辨率、高质量的热力图与部位表示。
• 设计一种新型焦点L2损失，根据预测难度动态调整监督权重，使训练更聚焦于难以学习的关键点与关联。
• 开发一种贪心关键点分配算法，利用学习到的身体部位表示与置信度分数，将检测到的关键点分组为个体姿态。
• 采用多尺度推理与数据增强策略，提升对不同人体尺寸的尺度不变性与鲁棒性。
• 从零开始训练模型，不使用 ImageNet 预训练，证明即使无迁移学习也具备强大性能。

实验结果

研究问题

• RQ1 更简单且更直观的关键点连接表示（身体部位）是否能在自下而上的姿态估计中超越传统的部分亲和场（PAFs）？
• RQ2 注意力机制与新型损失函数在多人群体姿态估计中，对热力图质量与泛化能力的提升程度如何？
• RQ3 对关键点检测与关键点关联同时进行困难样本挖掘，是否能带来显著的性能增益？
• RQ4 自下而上的方法是否能在不依赖人体检测器或模型集成的情况下，实现与自上而下方法相当的性能？
• RQ5 尺度不变性与输入分辨率在真实世界多尺度场景中对最终精度的影响如何？

主要发现

• 所提出的身体部位表示在与相同网络和损失函数结合时，相较基线实现 3–4% 的 AP 提升。
• 焦点L2损失相较标准L2损失提升 AP 3–4%，证明其在困难样本挖掘中的有效性。
• 四阶段 IMHN（改进的多头网络）相较三阶段版本提升 1% 的 AP，四阶段 IMHN 及其变体在 MS-COCO test-dev 上达到 67.1% 的 AP。
• 空间注意力机制与通道注意力机制分别贡献 1.2% 和 0.4% 的 AP 提升，表明其对特征学习的积极影响。
• 该模型相较基线 CMU-Pose 实现 15.1% 的绝对 AP 提升，成为首个在 MS-COCO test-dev 上达到超过 67% AP 的自下而上方法，且公开提供代码与模型。
• 该方法在不同人体尺度下保持优异性能，AP_L 到 AP_M 仅下降 1.3%，而 PifPaf 与 PersonLab 的下降幅度超过 10%，表明其具有更优的尺度鲁棒性。