[论文解读] Pose Flow: Efficient Online Pose Tracking

Yuliang Xiu, Jiefeng Li+3 more|arXiv (Cornell University)|Feb 3, 2018

Advanced Vision and Imaging被引用 26

一句话总结

本文提出Pose Flow，一种高效的在线姿态追踪方法，通过利用时空姿态流来提升在非约束视频中的多人群体姿态追踪性能。通过引入基于全局优化的Pose Flow构建器（Pose Flow Builder）和流感知非极大值抑制（PF-NMS），该方法在PoseTrack挑战验证集上实现了58.3%的MOTA和66.5%的mAP，达到当前最先进性能，同时在检测到的姿态上保持10 FPS的实时推理速度。

ABSTRACT

Multi-person articulated pose tracking in unconstrained videos is an important while challenging problem. In this paper, going along the road of top-down approaches, we propose a decent and efficient pose tracker based on pose flows. First, we design an online optimization framework to build the association of cross-frame poses and form pose flows (PF-Builder). Second, a novel pose flow non-maximum suppression (PF-NMS) is designed to robustly reduce redundant pose flows and re-link temporal disjoint ones. Extensive experiments show that our method significantly outperforms best-reported results on two standard Pose Tracking datasets by 13 mAP 25 MOTA and 6 mAP 3 MOTA respectively. Moreover, in the case of working on detected poses in individual frames, the extra computation of pose tracker is very minor, guaranteeing online 10FPS tracking. Our source codes are made publicly available(https://github.com/YuliangXiu/PoseFlow).

研究动机与目标

• 解决在非约束视频中因遮挡、截断或运动模糊导致的单帧姿态估计不可靠的问题。
• 通过跨帧构建姿态流，利用时间一致性提升追踪的鲁棒性与准确性。
• 在现有姿态估计流程基础上仅增加极少计算开销，实现在线、实时的姿态追踪。
• 通过利用时空上下文重新连接时间上不连续的姿态流，减少误报并降低ID切换现象。

提出的方法

• 提出一种基于在线优化框架的Pose Flow构建器（PF-Builder），将跨帧姿态关联为连贯的姿态流，以最大化潜在流的总体置信度。
• 提出一种基于姿态流而非单个检测结果的Pose Flow非极大值抑制（PF-NMS），以保持时间连贯性并减少冗余。
• 引入运动引导的框传播（DMGP），通过利用运动线索双向传播框来恢复缺失检测。
• 采用改进的深度提议生成器（iDPG），通过在线难例挖掘提升对髋部和脚踝等难检测关键点的定位能力。
• 采用滑动窗口方法对短视频片段进行迭代式姿态流构建，实现在线处理并具备良好的可扩展性。
• 设计追踪器为模块化且通用结构，只要提供每帧检测结果，即可兼容多种姿态估计器。

实验结果

研究问题

• RQ1 与贪心或IoU匹配方法相比，基于全局优化的姿态流构建方法是否能显著提升追踪鲁棒性？
• RQ2 流感知NMS在多大程度上能减少冗余姿态流并重新连接时间上不连续的轨迹？
• RQ3 通过姿态流引入时空上下文后，在遮挡和运动模糊等挑战性条件下，追踪性能是否得到显著提升？
• RQ4 所提出的追踪器是否能在显著超越先前最先进方法的同时，保持10 FPS的实时性能？
• RQ5 PF-Builder、PF-NMS、DMGP和iDPG各模块对整体追踪性能的独立贡献如何？

主要发现

• 所提出的Pose Flow追踪器在PoseTrack挑战验证集上达到58.3%的MOTA和66.5%的mAP，相比先前最先进方法分别提升13 mAP和25 MOTA。
• 在测试集上，该方法实现51.0%的MOTA和63.0%的mAP，表明其在未见数据上具备强大的泛化能力与鲁棒性。
• 仅使用PF-NMS即可使追踪性能相比基线IoU追踪器提升1.9 mAP和2.5 MOTA，证明其在减少冗余和重新连接不连续流方面的有效性。
• 消融实验表明，PF-Builder与PF-NMS共同贡献显著，其中仅PF-Builder相比IoU追踪器基线即可提升2.5% MOTA。
• 该追踪器在检测到的姿态上保持10 FPS的推理速度，每帧仅增加约100ms计算开销，适用于实时应用场景。
• iDPG和DMGP模块分别通过提升关键点定位精度和检测召回率，带来1.1 mAP和0.5 MOTA的性能增益。