[论文解读] RTMO: Towards High-Performance One-Stage Real-Time Multi-Person Pose Estimation

Peng Lu, Jiang Tao+4 more|arXiv (Cornell University)|Dec 12, 2023

Human Pose and Action Recognition被引用 4

一句话总结

RTMO 提出了一种单阶段实时多人姿态估计框架，将双 1D 热力图坐标分类集成到 YOLO 架构中，采用动态坐标分类器（DCC）和基于最大似然估计（MLE）的新损失函数，提升了准确率与效率。其在 COCO val2017 上达到 74.8% AP，在单张 V100 GPU 上实现 141 FPS，优于以往的单阶段方法，在速度与准确率方面均表现更优。

ABSTRACT

Real-time multi-person pose estimation presents significant challenges in balancing speed and precision. While two-stage top-down methods slow down as the number of people in the image increases, existing one-stage methods often fail to simultaneously deliver high accuracy and real-time performance. This paper introduces RTMO, a one-stage pose estimation framework that seamlessly integrates coordinate classification by representing keypoints using dual 1-D heatmaps within the YOLO architecture, achieving accuracy comparable to top-down methods while maintaining high speed. We propose a dynamic coordinate classifier and a tailored loss function for heatmap learning, specifically designed to address the incompatibilities between coordinate classification and dense prediction models. RTMO outperforms state-of-the-art one-stage pose estimators, achieving 1.1% higher AP on COCO while operating about 9 times faster with the same backbone. Our largest model, RTMO-l, attains 74.8% AP on COCO val2017 and 141 FPS on a single V100 GPU, demonstrating its efficiency and accuracy. The code and models are available at https://github.com/open-mmlab/mmpose/tree/main/projects/rtmo.

研究动机与目标

• 通过统一单阶段检测与精确的坐标分类，解决实时多人姿态估计中的速度-准确率权衡问题。
• 克服单阶段模型中直接关节点回归的局限性，因其缺乏空间不确定性建模而导致性能不佳。
• 设计一种动态的通道分配与编码机制，以适应实例特定的空间上下文，提升热力图学习效果。
• 开发一种可学习的、样本感知的损失函数，在密集预测场景中平衡困难与简单样本的优化。
• 在单阶段多人姿态估计中实现速度与准确率的最先进性能。

提出的方法

• 在基于 YOLO 的单阶段检测器中集成双 1D 热力图以实现关节点定位，用坐标分类替代直接回归。
• 提出一种动态坐标分类器（DCC），在边界框内自适应分配通道，并使用可学习的通道表示以提升定位精度。
• 引入一种基于最大似然估计（MLE）的损失函数，通过可学习的方差对每个样本的不确定性进行建模，从而在不同实例难度下实现更优的优化。
• 应用动态通道分配（DBA）与动态通道编码（DBE），以提升通道利用率并确保热力图输出的平滑性与空间一致性。
• 通过移除 P3 特征图并仅保留 P4 与 P5 特征图，优化特征金字塔的使用，实现更快的推理速度且准确率仅轻微下降。
• 使用 ONNXRuntime 进行模型训练与部署，实现在 CPU 与 GPU 平台上的高效推理。

Figure 1 : Efficiency and efficacy comparison among real-time pose estimation methods across different inference backends and devices. The radial axes indicate inference speed in Frames Per Second (FPS). The outer circular axis shows Average Precision (AP) on the COCO val2017 dataset. Models marked

实验结果

研究问题

• RQ1 坐标分类能否在不牺牲速度的前提下，有效适配单阶段多人姿态估计等密集预测任务？
• RQ2 如何使通道分配与表示实现动态化，以更好地匹配单阶段模型中的实例特定空间上下文？
• RQ3 可学习的、具备不确定性感知的损失函数是否在训练单阶段姿态估计的坐标热力图时优于标准的 Kullback–Leibler 散度（KLD）？
• RQ4 将坐标分类集成到基于 YOLO 的模型中，能否在标准基准上同时实现高准确率与实时推理？
• RQ5 在单阶段多人姿态估计中，平衡速度与准确率的最优特征金字塔配置是什么？

主要发现

• RTMO-l 在 COCO val2017 上达到 74.8% 的平均精度（AP），创下单阶段方法的新 SOTA 记录。
• RTMO-l 在单张 NVIDIA V100 GPU 上运行速度达 141 FPS，推理速度比使用相同主干网络的先前单阶段模型快约 9 倍。
• 在 CrowdPose 基准上，RTMO-l 达到 73.2% AP，同样是单阶段方法的新 SOTA 记录。
• 基于 MLE 的损失在 COCO 上比 KLD 提升 2.1% AP，证明了对每个样本不确定性建模的优势。
• 从特征金字塔中移除 P3 特征图后，头部的 FLOPs 降低了 78.5%，而准确率仅下降 0.3%，证明 P4 与 P5 已足够支持高性能表现。
• 动态通道编码（DBE）显著提升了热力图的平滑性与性能，解决了静态或编码不佳的通道表示带来的问题。

Figure 2 : Overview of the RTMO Network Architecture. Its head outputs predictions for the score, bounding box, keypoint coordinates and visibility for each grid cell. The Dynamic Coordinate Classifier translates pose features into K pairs of 1-D heatmaps for both the horizontal and vertical axes, e