[论文解读] Multiple Human Tracking using Multi-Cues including Primitive Action Features

Hitoshi Nishimura, Kazuyuki Tasaka+2 more|arXiv (Cornell University)|Sep 18, 2019

Video Surveillance and Tracking Methods参考文献 26被引用 4

一句话总结

本文提出 MHT-PAF，一种多人群追踪方法，通过将原始动作特征（PAF）与外观和运动线索相结合，提升动态航拍视频中的追踪精度。PAF 能够捕捉全局上下文、多标签动作语义以及中级特征，从而减少 ID 切换和误报，在 Okutama-Action 数据集上相比基线方法实现了 2.23 的 MOTA 提升。

ABSTRACT

In this paper, we propose a Multiple Human Tracking method using multi-cues including Primitive Action Features (MHT-PAF). MHT-PAF can perform the accurate human tracking in dynamic aerial videos captured by a drone. PAF employs a global context, rich information by multi-label actions, and a middle level feature. The accurate human tracking result using PAF helps multi-frame-based action recognition. In the experiments, we verified the effectiveness of the proposed method using the Okutama-Action dataset. Our code is available online.

研究动机与目标

• 解决由于尺寸变化、长宽比改变及相机运动导致的动态航拍视频中多人追踪不准确的问题。
• 通过在数据关联中引入动作线索，减少无人机拍摄视频中常见的误报和 ID 切换问题。
• 通过利用原始动作特征提升人体追踪精度，从而改善基于多帧的动作识别性能。
• 证明结合全局上下文与多标签标注的中级动作特征，优于传统的仅基于外观和位置的线索。

提出的方法

• 提出一种多线索追踪框架，结合外观、运动与原始动作特征（PAF）用于数据关联。
• 设计 PAF 以使用全局裁剪图像获取空间上下文，支持识别人-物体与人-人交互。
• 采用多标签动作标注，提取比单标签识别更丰富的动作信息。
• 使用中间层特征表示（非最终动作类别），以减少动作检测中的帧级模糊性。
• 通过晚期融合策略将 PAF 整合进基于检测的追踪流水线，结合 RGB 与光流特征。
• 在追踪框架中应用该方法，通过最小化代价流实现数据关联，提升对遮挡和运动的鲁棒性。

实验结果

研究问题

• RQ1 原始动作特征（PAF）是否能提升具有高动态范围与相机运动的航拍视频中的追踪精度？
• RQ2 在 PAF 中引入全局上下文与多标签动作信息，对数据关联性能有何影响？
• RQ3 与仅基于外观和位置的追踪基线相比，PAF 在多大程度上减少了 ID 切换与误报？
• RQ4 提升的人体追踪精度是否能带来可测量的多帧动作检测性能增益？
• RQ5 当追踪性能提升时，何种特征类型组合（局部/全局，单帧/多帧）在动作识别中表现最优？

主要发现

• MHT-PAF 相较于 MCF 基线实现了 2.23 的 MOTA 提升（MOTA：22.94 vs. 20.45），显著提升了追踪精度。
• ID 切换数量减少了 110 例（从 1875 例降至 1833 例），同时精度提升 2.51 个百分点，召回率保持不变。
• 由于 PAF 整合带来的追踪质量提升，动作检测 mAP 提升了 0.57（从 11.97 提升至 12.54）。
• 基于多帧动作识别与局部+全局裁剪图像的组合实现了最高的动作识别准确率（47.80）。
• 在 PAF 中使用全局上下文使交互类动作（如搬运、推）的准确率提升了 3.06 个百分点（从 42.88 提升至 45.94），相比仅使用局部特征。
• 与单帧识别相比，多帧识别在局部图像上提升了 2.21 个百分点（45.09 vs. 42.88），在局部+全局图像上提升了 1.86 个百分点（47.80 vs. 45.94）。