[论文解读] PoseTrack: Joint Multi-Person Pose Estimation and Tracking

Umar Iqbal, Anton Milan+1 more|arXiv (Cornell University)|Nov 23, 2016

Human Pose and Action Recognition参考文献 36被引用 7

一句话总结

本文提出了一种用于在非受限视频中进行多人姿态估计与跟踪的联合框架，采用时空整数线性规划（ILP）对跨空间和时间的肢体关节检测结果进行优化。该方法将姿态轨迹建模为密集时空图中的子图，能够稳健处理遮挡、截断以及人员数量变化等问题，并在新提出的PoseTrack数据集上实现了最先进性能，MOTA为56.2%，mAP为56.2%。

ABSTRACT

In this work, we introduce the challenging problem of joint multi-person pose estimation and tracking of an unknown number of persons in unconstrained videos. Existing methods for multi-person pose estimation in images cannot be applied directly to this problem, since it also requires to solve the problem of person association over time in addition to the pose estimation for each person. We therefore propose a novel method that jointly models multi-person pose estimation and tracking in a single formulation. To this end, we represent body joint detections in a video by a spatio-temporal graph and solve an integer linear program to partition the graph into sub-graphs that correspond to plausible body pose trajectories for each person. The proposed approach implicitly handles occlusion and truncation of persons. Since the problem has not been addressed quantitatively in the literature, we introduce a challenging "Multi-Person PoseTrack" dataset, and also propose a completely unconstrained evaluation protocol that does not make any assumptions about the scale, size, location or the number of persons. Finally, we evaluate the proposed approach and several baseline methods on our new dataset.

研究动机与目标

• 为非受限视频中多人姿态估计与跟踪的联合任务解决缺乏定量评估与统一建模的问题。
• 开发一种方法，能够在不依赖预检测边界框或固定人员数量的前提下，同时实现姿态估计与跨帧跟踪。
• 应对现实世界中的挑战，如遮挡、截断、尺度变化以及快速运动等。
• 引入一个新基准数据集与评估协议，不假设已知的人员数量、大小或位置。
• 通过基于ILP的图划分方法，展示联合优化在时空图建模中的有效性。

提出的方法

• 该方法将跨帧的肢体关节检测结果表示为一个密集连接的时空图，通过帧内空间连接与帧间时间连接建立关联。
• 将姿态估计与跟踪问题建模为一个整数线性规划（ILP），通过图划分生成每个个体的合法姿态轨迹。
• ILP引入了空间传递性、时间传递性以及时空约束，以确保姿态序列具有物理合理性。
• 图中包含在时间窗口内（τ = 3 或 5）的关节候选点之间的连接，边的密度与约束类型经过调优以提升性能。
• 该方法联合优化检测、关联与姿态一致性，无需单独的人体检测器或尺度估计模块。
• 通过ILP优化求解，平均在单线程CPU上每帧耗时约14.7秒。

实验结果

研究问题

• RQ1 是否能够通过统一的建模范式，在非受限视频中联合优化多人姿态估计与跟踪？
• RQ2 引入时间与时空约束后，对跟踪与姿态估计精度有何影响？
• RQ3 该方法在无预检测前提下，对遮挡、截断及人员数量变化的处理能力如何？
• RQ4 与最先进的一帧姿态估计与跟踪基线方法相比，该方法表现如何？
• RQ5 不同的图构建策略（如边密度、时间窗口长度）对性能有何影响？

主要发现

• 所提方法在PoseTrack数据集上实现了56.2%的MOTA，优于包括DeeperCut与LJPA在内的基线方法。
• 该方法在帧级别多人姿态估计中实现了56.2%的mAP，显著优于依赖独立人体检测器的方法。
• 引入颈部与肩膀关节的时间连接（HT:N:S）后，mAP从34.3%提升至37.9%，当加入髋部关节后进一步提升。
• 移除空间传递性约束会使mAP下降3.5%，而移除时间或时空约束则分别导致mAP下降超过8%与10%。
• 在严重遮挡与截断情况下，该方法表现良好，因为ILP建模通过图划分隐式地处理了这些情况。
• 在单线程3.3GHz CPU上，构建并求解时空图的平均耗时为每帧14.7秒，平均包含2084个节点与12,903条时间边。