[论文解读] Vision Meets Drones: Past, Present and Future

Pengfei Zhu, Longyin Wen+4 more|arXiv (Cornell University)|Jan 16, 2020

Video Surveillance and Tracking Methods参考文献 172被引用 140

一句话总结

本文介绍了VisDrone，一个大规模、完全标注的无人机拍摄数据集，涵盖14个中国城市的四个任务——图像检测、视频检测、单目标跟踪和多目标跟踪。该数据集为评估和推进无人机视觉分析算法提供了基准，通过广泛的评估和未来研究方向，显著推动了航拍视频理解领域的研究进展。

ABSTRACT

Drones, or general UAVs, equipped with cameras have been fast deployed with a wide range of applications, including agriculture, aerial photography, and surveillance. Consequently, automatic understanding of visual data collected from drones becomes highly demanding, bringing computer vision and drones more and more closely. To promote and track the evelopments of object detection and tracking algorithms, we have organized two challenge workshops in conjunction with ECCV 2018, and ICCV 2019, attracting more than 100 teams around the world. We provide a large-scale drone captured dataset, VisDrone, which includes four tracks, i.e., (1) image object detection, (2) video object detection, (3) single object tracking, and (4) multi-object tracking. In this paper, we first presents a thorough review of object detection and tracking datasets and benchmarks, and discuss the challenges of collecting large-scale drone-based object detection and tracking datasets with fully manual annotations. After that, we describe our VisDrone dataset, which is captured over various urban/suburban areas of 14 different cities across China from North to South. Being the largest such dataset ever published, VisDrone enables extensive evaluation and investigation of visual analysis algorithms on the drone platform. We provide a detailed analysis of the current state of the field of large-scale object detection and tracking on drones, and conclude the challenge as well as propose future directions. We expect the benchmark largely boost the research and development in video analysis on drone platforms. All the datasets and experimental results can be downloaded from the website: this https URL.

研究动机与目标

• 为解决农业、监控和航拍等应用中对无人机拍摄数据自动视觉理解日益增长的需求。
• 克服在收集大规模、完全标注的无人机数据集时面临的挑战，确保质量一致性和多样性。
• 通过全面的数据集和挑战工作坊，建立评估无人机平台目标检测与跟踪算法的基准。
• 通过在ECCV 2018和ICCV 2019组织国际挑战赛，推动研究进展，吸引全球超过100支团队参与。
• 通过详细分析和公开数据与结果，为未来无人机视频分析技术的进一步发展奠定基础。

提出的方法

• VisDrone数据集从中国14座城市的不同城市和郊区区域采集，覆盖从北到南的广阔地理范围，以确保地理和环境多样性。
• 数据集包含四个独立任务：图像目标检测、视频目标检测、单目标跟踪和多目标跟踪，每个任务均配有完全人工标注。
• 该数据集是目前公开可用的最大规模无人机视觉分析基准，支持对算法的广泛评估。
• 作者在ECCV 2018和ICCV 2019组织了两次国际挑战工作坊，用于评估和跟踪VisDrone数据集上的算法进展。
• 所有数据和结果均通过专用网站公开，以促进开放研究和可复现性。
• 本文对现有无人机目标检测与跟踪数据集和基准进行了全面综述，识别出关键局限与机遇。

实验结果

研究问题

• RQ1 在收集大规模、完全标注的无人机目标检测与跟踪数据集时，面临哪些关键挑战？
• RQ2 与现有基准相比，VisDrone数据集在规模、多样性及标注质量方面表现如何？
• RQ3 当前无人机目标检测与跟踪算法的性能极限和瓶颈是什么？
• RQ4 像VisDrone这样的大规模基准如何加速航拍视频分析领域的进展？
• RQ5 未来在无人机平台视觉分析方面，哪些研究方向最具前景？

主要发现

• VisDrone是目前公开可用的最大规模无人机目标检测与跟踪数据集，覆盖中国14个多样化城市。
• 该数据集支持四项独立任务：图像检测、视频检测、单目标跟踪和多目标跟踪，每项任务均配有完全人工标注。
• 通过ECCV 2018和ICCV 2019的国际挑战赛，该数据集已实现全球范围的基准测试，吸引超过100支国际团队参与。
• 作者识别出数据收集中的重大挑战，包括标注一致性、数据规模以及区域间环境差异性。
• 本文结论指出，VisDrone为推进无人机视频分析研究提供了坚实基础，并提出了未来算法发展的方向。
• 所有数据集和结果均可通过专用网站公开获取，推动了该领域开放科学与可复现性的发展。