[论文解读] Towards High Performance Human Keypoint Detection

Jing Zhang, Zhe Chen+1 more|arXiv (Cornell University)|Feb 3, 2020

Video Surveillance and Tracking Methods参考文献 40被引用 8

一句话总结

该论文提出了一种级联上下文混合器（CCM）网络，用于高性能人体关键点检测，通过整合空间与通道上下文，提升对遮挡及不可见关键点的推理能力。通过联合训练与知识蒸馏利用未标注数据，并应用亚像素精炼技术，该方法在 MS COCO 上实现最先进性能，单模型达到 2018 年挑战赛冠军水平，集成模型创下新的 SOTA 记录。

ABSTRACT

Human keypoint detection from a single image is very challenging due to occlusion, blur, illumination and scale variance. In this paper, we address this problem from three aspects by devising an efficient network structure, proposing three effective training strategies, and exploiting four useful postprocessing techniques. First, we find that context information plays an important role in reasoning human body configuration and invisible keypoints. Inspired by this, we propose a cascaded context mixer (CCM), which efficiently integrates spatial and channel context information and progressively refines them. Then, to maximize CCM's representation capability, we develop a hard-negative person detection mining strategy and a joint-training strategy by exploiting abundant unlabeled data. It enables CCM to learn discriminative features from massive diverse poses. Third, we present several sub-pixel refinement techniques for postprocessing keypoint predictions to improve detection accuracy. Extensive experiments on the MS COCO keypoint detection benchmark demonstrate the superiority of the proposed method over representative state-of-the-art (SOTA) methods. Our single model achieves comparable performance with the winner of the 2018 COCO Keypoint Detection Challenge. The final ensemble model sets a new SOTA on this benchmark.

研究动机与目标

• 解决因尺度变化、光照变化和上下文模糊性导致的遮挡、模糊或不可见人体关键点检测挑战。
• 通过级联方式建模空间与通道上下文，提升特征表示能力，以推断身体构型。
• 利用未标注的异构外部数据集（如 AI Challenger）增强模型泛化能力，且无需相同标注格式。
• 通过系统化的亚像素后处理技术，减小真实标注（像素/亚像素）与热力图预测之间的尺度不匹配。
• 证明不可见关键点标注相比可见关键点提供更强的监督信号，提升模型对遮挡的鲁棒性。

提出的方法

• 在解码器中提出级联上下文混合器（CCM）模块，逐步融合空间与通道上下文特征，以增强关键点定位能力。
• 引入困难负样本人体检测挖掘策略，通过识别并强调具有挑战性的遮挡人体实例，使训练与测试分布对齐。
• 采用联合训练策略结合知识蒸馏，利用来自外部数据集（如 MS COCO 未标注集）和异构数据集（如 AI Challenger）的未标注数据，且这些数据集的关键点数量不同。
• 在推理阶段应用四种顺序的亚像素精炼技术：热力图精炼、关键点偏移回归、迭代精炼，以及具有亚像素精度的非极大值抑制。
• 采用标准编码器-解码器主干网络（如 ResNet），并使用基于热力图的监督，其中 CCM 在多尺度上增强特征表示。
• 通过在完整标注数据上训练的教师模型蒸馏知识，提升学生模型在多样化和模糊姿态下的泛化能力。

实验结果

研究问题

• RQ1 建模空间与通道上下文是否能提升对不可见及遮挡关键点的检测性能？
• RQ2 通过联合训练与知识蒸馏引入未标注数据，是否能增强模型在多样化和复杂姿态下的泛化能力？
• RQ3 与可见关键点相比，包含不可见关键点标注是否对模型性能有更大提升？
• RQ4 亚像素后处理技术在多大程度上能减小真实标注与热力图预测之间的尺度不匹配？
• RQ5 即使没有对不可见关键点进行直接监督，模型是否能仅通过上下文学习到隐式的身体构型知识？

主要发现

• 单模型在 MS COCO minival 上达到 72.5 AP，与 2018 年 COCO 关键点检测挑战赛冠军性能相当。
• 集成模型在 MS COCO test-dev 集上取得 73.7 AP 的新 SOTA 结果，超越此前最先进方法。
• 使用不可见关键点标注相比等量可见标注带来更大性能提升，实验显示使用不可见标注可获得 1.2 AP 的增益。
• 即使未对不可见关键点进行直接监督，模型在不可见关键点上仍达到 40.2 AP，表明其能通过上下文特征推断被遮挡的关节。
• 性能提升最大的部分出现在标注关键点少于 10 个的样本上（即严重遮挡情况），证实该方法在处理严重遮挡时的有效性。
• 亚像素精炼技术整体上通过减小定位误差，显著提升了检测精度，尤其在低分辨率或模糊区域表现更优。