[论文解读] QueryPose: Sparse Multi-Person Pose Regression via Spatial-Aware Part-Level Query

Yabo Xiao, Kai Su+5 more|arXiv (Cornell University)|Dec 15, 2022

Human Pose and Action Recognition被引用 9

一句话总结

QueryPose 提出了一种稀疏的、端到端的多人姿态估计框架，通过使用空间感知的部件级查询，直接从图像回归关键点坐标，从而无需密集热力图和手工设计的后处理。通过引入空间部件嵌入生成模块（SPEGM）和选择性迭代模块（SIM），其在 MS COCO mini-val 上达到 73.6 AP 的最先进性能，在 CrowdPose 上达到 72.7 AP。

ABSTRACT

We propose a sparse end-to-end multi-person pose regression framework, termed QueryPose, which can directly predict multi-person keypoint sequences from the input image. The existing end-to-end methods rely on dense representations to preserve the spatial detail and structure for precise keypoint localization. However, the dense paradigm introduces complex and redundant post-processes during inference. In our framework, each human instance is encoded by several learnable spatial-aware part-level queries associated with an instance-level query. First, we propose the Spatial Part Embedding Generation Module (SPEGM) that considers the local spatial attention mechanism to generate several spatial-sensitive part embeddings, which contain spatial details and structural information for enhancing the part-level queries. Second, we introduce the Selective Iteration Module (SIM) to adaptively update the sparse part-level queries via the generated spatial-sensitive part embeddings stage-by-stage. Based on the two proposed modules, the part-level queries are able to fully encode the spatial details and structural information for precise keypoint regression. With the bipartite matching, QueryPose avoids the hand-designed post-processes and surpasses the existing dense end-to-end methods with 73.6 AP on MS COCO mini-val set and 72.7 AP on CrowdPose test set. Code is available at https://github.com/buptxyb666/QueryPose.

研究动机与目标

• 消除密集端到端多人姿态估计中复杂且不可微的后处理步骤。
• 解决实例级查询在捕捉关键点回归的局部空间细节和结构信息方面的局限性。
• 开发一种稀疏的、可学习的查询框架，以保留空间结构和局部特征，从而提升关键点定位精度。
• 证明稀疏查询回归方法在多人姿态估计中可超越密集热力图方法。
• 验证空间感知的部件级查询在拥挤和复杂场景中的有效性，且无需依赖辅助热力图监督。

提出的方法

• 引入可学习并迭代更新的空间感知部件级查询，以编码局部空间特征和结构上下文。
• 提出空间部件嵌入生成模块（SPEGM），利用局部空间注意力从特征图生成空间敏感的部件嵌入。
• 采用选择性迭代模块（SIM），通过生成的空间敏感嵌入，分阶段自适应地优化部件级查询。
• 使用二分图匹配实现端到端训练与推理，避免如 NMS 这类不可微的后处理。
• 利用基于 Transformer 的主干网络（如 Swin-Large 或 HRNet-W48）提取特征，用于查询优化与回归。
• 以完全可微的方式训练模型，实现关键点坐标的直接回归，无需中间热力图。

实验结果

研究问题

• RQ1 稀疏的、可学习的查询框架能否有效替代多人姿态估计中的密集热力图表示？
• RQ2 具有空间感知能力的部件级查询是否能比实例级查询更好地捕捉局部细节和结构关系？
• RQ3 所提出的 SPEGM 与 SIM 模块组合是否相比现有端到端方法提升了关键点定位精度？
• RQ4 在无辅助热力图监督的情况下，稀疏回归框架能否超越密集端到端方法？
• RQ5 与基于 NMS 的密集方法相比，稀疏查询方法在拥挤场景中的表现如何？

主要发现

• QueryPose 在 MS COCO mini-val 数据集上达到 73.6 AP，超越所有现有的密集端到端方法。
• 在 CrowdPose 测试集上，QueryPose 达到 72.7 AP，优于当前最先进端到端方法。
• 使用 HRNet-W48 时，QueryPose 在 CrowdPose 上达到 72.1 AP；使用 Swin-Large 时达到 72.7 AP，表明其在拥挤场景中具有强大的泛化能力。
• QueryPose 在训练过程中无需在线学习辅助热力图，与其它基于回归的方法不同，但仍实现高性能。
• 消融实验证实，SPEGM 和 SIM 模块对于捕捉空间细节和提升关键点精度至关重要。
• 稀疏范式避免了 NMS 在拥挤场景中引发的问题，如误删重叠的关键点或实例。