[论文解读] PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model

George Papandreou, Tyler Zhu+4 more|arXiv (Cornell University)|Mar 22, 2018

Human Pose and Action Recognition被引用 6

一句话总结

PersonLab 提出了一种完全卷积的、自下而上的方法，通过基于部件的几何嵌入实现多人姿态估计与实例分割的联合预测。该方法预测关键点位置和关键点对之间的相对位移，通过贪心解码将关键点分组，并利用几何嵌入向量将像素分配给人员实例，在单尺度推理下实现了 COCO 关键点检测的 SOTA AP（0.687）与人员实例分割的 SOTA AP（0.417）。

ABSTRACT

We present a box-free bottom-up approach for the tasks of pose estimation and instance segmentation of people in multi-person images using an efficient single-shot model. The proposed PersonLab model tackles both semantic-level reasoning and object-part associations using part-based modeling. Our model employs a convolutional network which learns to detect individual keypoints and predict their relative displacements, allowing us to group keypoints into person pose instances. Further, we propose a part-induced geometric embedding descriptor which allows us to associate semantic person pixels with their corresponding person instance, delivering instance-level person segmentations. Our system is based on a fully-convolutional architecture and allows for efficient inference, with runtime essentially independent of the number of people present in the scene. Trained on COCO data alone, our system achieves COCO test-dev keypoint average precision of 0.665 using single-scale inference and 0.687 using multi-scale inference, significantly outperforming all previous bottom-up pose estimation systems. We are also the first bottom-up method to report competitive results for the person class in the COCO instance segmentation task, achieving a person category average precision of 0.417.

研究动机与目标

• 开发一种统一的、无需边界框的框架，用于在非受限场景中进行多人姿态估计与实例分割。
• 通过预测关键点间的相对位移来建模长距离关键点关系，从而提升自下而上姿态估计的准确性。
• 实现与场景中人员数量无关的高效、可扩展推理。
• 通过基于部件的几何嵌入表示实现具有竞争力的实例分割性能。
• 通过轻量级、完全卷积的架构支持在移动设备上实时部署。

提出的方法

• 使用完全卷积网络预测关键点热力图和关键点对之间的相对位移向量。
• 采用循环细化模块以改善长距离位移预测，从而提升关键点分组的准确性。
• 应用贪心解码将关键点分组为人员实例，从置信度最高的检测开始。
• 为每个人员像素预测密集的几何嵌入向量，编码其到所属实例所有 K 个关键点的偏移量。
• 利用几何嵌入场，基于平均关键点距离与检测置信度，将每个像素分配给最近的人员实例。
• 在 COCO 关键点与分割标注上端到端训练，利用实例无关的语义分割图。

实验结果

研究问题

• RQ1 自下而上的、基于部件的方法是否能在不依赖目标检测器的前提下实现多人姿态估计的 SOTA 性能？
• RQ2 通过循环细化改进的相对位移预测，在提升长距离关键点分组效果方面有多有效？
• RQ3 几何嵌入表示是否能在自下而上的框架中实现准确且高效的实例级分割？
• RQ4 尽管对关键点 AP 无评估影响，为小尺寸人员实例插补关键点是否能提升分割性能？
• RQ5 完全卷积的、单阶段模型是否能实现高精度，且推理时间与场景中人员数量无关？

主要发现

• PersonLab 在使用多尺度推理的 COCO test-dev 上实现了 0.687 的关键点平均精度（AP），显著优于先前的自下而上方法。
• 该模型在 COCO 人员类别上的自下而上实例分割任务中创下新 SOTA，达到 0.417 的 AP，超过强基线模型 FCIS（0.386）的性能。
• 位移细化使关键点 AP 提升 3.3%，分割 AP 提升 2.2%；对于大尺寸实例，分别提升 5.4% 和 9.1%。
• 为小尺寸人员实例插补关键点使分割 AP 提升 4.4%，小物体的 AP 相对提升达 134%（从 7.6% 提升至 16.4%）。
• 该模型在单尺度推理下实现高性能，且推理速度保持快速，因计算量与场景中人员数量无关。
• 系统简洁高效，避免了后处理优化或聚类步骤，适合移动设备部署。