[论文解读] The P-DESTRE: A Fully Annotated Dataset for Pedestrian Detection, Tracking, Re-Identification and Search from Aerial Devices

Sanjay Kumar, Ehsan Yaghoubi+3 more|arXiv (Cornell University)|Apr 6, 2020

Video Surveillance and Tracking Methods被引用 6

一句话总结

P-DESTRE数据集是一个新颖的、完全标注的无人机（UAV）视频数据集，用于行人检测、跟踪、重识别和人员搜索，覆盖多个白天，支持在衣物特征不可靠的复杂场景下的研究。该数据集提供一致的ID标注、软生物特征标签和边界框，并揭示了在UAV数据上检测、跟踪和搜索任务的性能显著下降，而重识别任务相对稳健。

ABSTRACT

Over the last decades, the world has been witnessing growing threats to the security in urban spaces, which has augmented the relevance given to visual surveillance solutions able to detect, track and identify persons of interest in crowds. In particular, unmanned aerial vehicles (UAVs) are a potential tool for this kind of analysis, as they provide a cheap way for data collection, cover large and difficult-to-reach areas, while reducing human staff demands. In this context, all the available datasets are exclusively suitable for the pedestrian re-identification problem, in which the multi-camera views per ID are taken on a single day, and allows the use of clothing appearance features for identification purposes. Accordingly, the main contributions of this paper are two-fold: 1) we announce the UAV-based P-DESTRE dataset, which is the first of its kind to provide consistent ID annotations across multiple days, making it suitable for the extremely challenging problem of person search, i.e., where no clothing information can be reliably used. Apart this feature, the P-DESTRE annotations enable the research on UAV-based pedestrian detection, tracking, re-identification and soft biometric solutions; and 2) we compare the results attained by state-of-the-art pedestrian detection, tracking, reidentification and search techniques in well-known surveillance datasets, to the effectiveness obtained by the same techniques in the P-DESTRE data. Such comparison enables to identify the most problematic data degradation factors of UAV-based data for each task, and can be used as baselines for subsequent advances in this kind of technology. The dataset and the full details of the empirical evaluation carried out are freely available at http://p-destre.di.ubi.pt/.

研究动机与目标

• 解决在人员搜索任务中缺乏多日、基于无人机的、具备一致身份标注的数据集的问题，尤其在衣物特征不可靠的情况下。
• 支持在真实无人机监控条件下进行行人检测、跟踪、重识别和软生物特征分析的研究。
• 为评估最先进方法在无人机获取的航拍数据上相对于真实标注数据集的性能退化提供基准。
• 通过提供干扰物标注和多样的软生物特征，支持开发鲁棒的人员搜索系统。
• 为未来基于无人机的行人分析技术进步建立可复现的基线。

提出的方法

• 数据集通过DJI Phantom 4无人机在大学校园上空采集，捕捉了多日的户外密集人群场景。
• 人工专家对每一帧进行标注，包括边界框、跨多日的唯一行人ID，以及16项软生物特征，如性别、年龄、身高、种族和衣物细节。
• 数据集包含102,262帧，分布在10个场景中，涵盖1,228个唯一身份和1,512个未知身份作为干扰物。
• 通过在P-DESTRE和标准监控数据集上应用最先进方法，开展对比评估，以衡量检测、跟踪、重识别和人员搜索任务的性能退化。
• 评估包括基于排名的检索指标，以及对top-1、top-56和top-98检索结果的可视化分析，以识别失败案例。
• 数据集可在 http://p-destre.di.ubi.pt/ 公开获取，包含完整的标注细节和评估协议。

实验结果

研究问题

• RQ1 与基于地面的监控数据相比，最先进行人检测、跟踪和人员搜索方法在应用于基于无人机的航拍视频时，性能退化程度如何？
• RQ2 当由于观察时间间隔导致衣物外观特征不可靠时，现有重识别技术在无人机数据上的泛化能力有多大？
• RQ3 在基于无人机的行人分析中，哪些是导致检测、跟踪和人员搜索性能下降的关键数据退化因素？
• RQ4 当衣物特征不一致时，软生物特征在减少人员搜索中的搜索空间方面有多有效？
• RQ5 人员搜索在无人机数据上的基线性能指标是什么？当前模型在何处最常出现失败？

主要发现

• 与真实标注数据集相比，UAV数据上的检测性能退化最为显著，表明航拍系统面临重大挑战。
• 跟踪性能也显著下降，尤其在人群密集和遮挡严重的场景中，原因包括低分辨率和快速移动的目标。
• 人员搜索性能明显劣于重识别，top-1检索准确率相差达40个百分点，凸显了在缺乏衣物线索时识别个体的困难。
• 重识别方法在UAV数据和真实标注数据上的表现相当，表明尽管存在航拍视角和分辨率问题，基于外观的特征仍然有效。
• top-56、top-73和top-98检索失败案例揭示了关键的安全风险，因为真实身份经常在早期排名中被遗漏，表明假阴性率很高。
• 视觉分析确认，姿态相似性、配饰匹配以及软生物特征重叠是人员搜索中产生错误匹配的主要原因。