[论文解读] VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the Wild

Yifu Zhang, Chunyu Wang+3 more|arXiv (Cornell University)|Aug 5, 2021

Video Surveillance and Tracking Methods被引用 5

一句话总结

VoxelTrack 提出了一种基于多视角图像的 3D 体素表示的端到端 3D 多人姿态估计与跟踪框架，通过在体素空间中直接回归 3D 姿态和 Re-ID 特征，避免了由 2D 姿态估计和关联带来的噪声问题。该方法在 Shelf、Campus 和 CMU Panoptic 数据集上实现了最先进性能，IDF1 达到 98.67，ID 切换为零，得益于遮挡感知的 Re-ID 特征融合。

ABSTRACT

We present VoxelTrack for multi-person 3D pose estimation and tracking from a few cameras which are separated by wide baselines. It employs a multi-branch network to jointly estimate 3D poses and re-identification (Re-ID) features for all people in the environment. In contrast to previous efforts which require to establish cross-view correspondence based on noisy 2D pose estimates, it directly estimates and tracks 3D poses from a 3D voxel-based representation constructed from multi-view images. We first discretize the 3D space by regular voxels and compute a feature vector for each voxel by averaging the body joint heatmaps that are inversely projected from all views. We estimate 3D poses from the voxel representation by predicting whether each voxel contains a particular body joint. Similarly, a Re-ID feature is computed for each voxel which is used to track the estimated 3D poses over time. The main advantage of the approach is that it avoids making any hard decisions based on individual images. The approach can robustly estimate and track 3D poses even when people are severely occluded in some cameras. It outperforms the state-of-the-art methods by a large margin on three public datasets including Shelf, Campus and CMU Panoptic.

研究动机与目标

• 解决级联式 2D 姿态估计与 3D 重建流水线因 2D 检测噪声导致的误差传播问题。
• 克服在严重遮挡和外观变化下跨视角 2D 姿态关联与 3D 姿态跟踪的挑战。
• 通过在共享 3D 体素空间中融合多视角信息，实现对单个视角质量依赖性更低的鲁棒 3D 姿态估计与跟踪。
• 提出一种遮挡感知的 Re-ID 特征融合策略，提升在外观特征受损情况下的跟踪鲁棒性。
• 设计一个轻量化、端到端的系统，支持 5 台相机输入下 15 FPS 的推理速度，适用于实际部署。

提出的方法

• 通过离散化 3D 空间构建 3D 体素网格，并利用逆投影将所有相机视角的肢体关节点热力图聚合到体素中。
• 使用 3D 稀疏卷积神经网络预测每个体素是否包含特定的肢体关节点，从而实现从体素表示直接进行 3D 姿态估计。
• 同时为每个体素预测 Re-ID 特征，并通过遮挡掩码在不同视角间融合特征，以抑制来自严重遮挡视角的不可靠特征。
• 采用多视角 Re-ID 特征融合策略，利用深度信息识别并剔除来自被遮挡视角的特征。
• 结合 3D 关节点相似性与遮挡感知的 Re-ID 特征进行 3D 姿态跟踪，使用简单的二分图匹配跟踪器。
• 在合成数据上训练 3D 姿态估计头，实现无需大规模真实 3D 数据标注即可进行实际部署。

实验结果

研究问题

• RQ1 通过跳过中间的 2D 姿态估计与关联步骤，是否能显著提升 3D 多人姿态估计与跟踪性能？
• RQ2 3D 体素表示在聚合多视角信息以提升遮挡情况下的鲁棒性方面有多有效？
• RQ3 遮挡感知的 Re-ID 特征融合在具有挑战性的现实场景中对提升跟踪精度有多大帮助？
• RQ4 能否在合成数据上有效预训练 3D 姿态估计网络，并在真实数据上微调以实现实际部署？
• RQ5 端到端的 3D 体素跟踪系统在保持实时推理能力下的计算效率如何？

主要发现

• VoxelTrack 在 CMU Panoptic 数据集上实现了 98.67 的 IDF1 分数且无 ID 切换，显著优于先前方法。
• 消融实验证实，遮挡感知的 Re-ID 特征融合至关重要，与使用原始 Re-ID 特征相比，ID 切换从 90 降至 0。
• 仅使用 3D 姿态距离时，IDF1 为 93.82，ID 切换达 90 次，凸显了仅依赖姿态跟踪在遮挡情况下的局限性。
• 系统在使用 MobileNet-V2 和稀疏 3D 卷积的情况下，5 台相机输入下达到 15 FPS，展现出强大的实时实用性。
• 3D 姿态估计头可在合成数据上进行训练，并在真实世界基准上泛化良好，显著降低对标注数据的依赖。
• 跟踪模块仅增加 2ms 延迟，表明整体系统高效，适合实时应用。