[论文解读] The WILDTRACK Multi-Camera Person Dataset

Tatjana Chavdarova, Pierre Baqué+7 more|arXiv (Cornell University)|Jul 28, 2017

Video Surveillance and Tracking Methods参考文献 24被引用 10

一句话总结

WILDTRACK数据集引入了一个大规模、高分辨率、多相机的行人检测基准，包含七台同步的高清摄像机、精确的联合标定以及3D边界框标注。该数据集支持先进的多视角行人检测与标定深度学习方法，在规模、精度和对多视角及单目检测研究的实用性方面均优于以往数据集。

ABSTRACT

People detection methods are highly sensitive to the perpetual occlusions among the targets. As multi-camera set-ups become more frequently encountered, joint exploitation of the across views information would allow for improved detection performances. We provide a large-scale HD dataset named WILDTRACK which finally makes advanced deep learning methods applicable to this problem. The seven-static-camera set-up captures realistic and challenging scenarios of walking people. Notably, its camera calibration with jointly high-precision projection widens the range of algorithms which may make use of this dataset. In aim to help accelerate the research on automatic camera calibration, such annotations also accompany this dataset. Furthermore, the rich-in-appearance visual context of the pedestrian class makes this dataset attractive for monocular pedestrian detection as well, since: the HD cameras are placed relatively close to the people, and the size of the dataset further increases seven-fold. In summary, we overview existing multi-camera datasets and detection methods, enumerate details of our dataset, and we benchmark multi-camera state of the art detectors on this new dataset.

研究动机与目标

• 为解决行人检测领域缺乏大规模、高精度多相机数据集的问题。
• 支持基于深度学习的多视角检测与相机标定算法的开发与基准测试。
• 提供经过联合标定的相机与丰富的视觉上下文，以提升检测的鲁棒性。
• 通过高分辨率、密集标注的数据，同时支持多视角检测与单目检测研究。
• 通过提供标定的真值标注与标定图案，推动自动相机标定技术的发展。

提出的方法

• 使用七台固定安装的高清摄像机在真实户外环境中采集数据，各摄像机视场存在重叠。
• 通过3D真值测量与可见的国际象棋盘图案进行相机标定，利用3D-2D对应点进行捆绑调整。
• 开发了定制的基于网络的标注工具，实现在所有视角中同步标注3D边界框，提升标注精度与效率。
• 标注人员将3D圆柱模型投射到每个摄像机视图中，并调整其位置以在所有视角中最佳匹配同一行人。
• 标注过程使用Amazon Mechanical Turk平台，由受训标注员完成，可加载并优化前一帧的标注，以提升速度与一致性。
• 数据集包含3D边界框、2D投影、标定参数以及用于外参与内参标定的真值3D点。

实验结果

研究问题

• RQ1 大规模、高精度多相机数据集在多视角行人检测模型性能方面有何提升作用？
• RQ2 在多个视角中联合进行3D标注在多大程度上能提升检测精度与遮挡鲁棒性？
• RQ3 WILDTRACK数据集能否支持先进相机标定算法的开发与基准测试？
• RQ4 高分辨率、密集视觉上下文的引入对单目行人检测性能有何影响？
• RQ5 在多个同步摄像机中对3D行人位置进行标注面临哪些实际挑战与局限？

主要发现

• WILDTRACK数据集包含超过100,000个标注的3D边界框，覆盖7台摄像机，具有高分辨率高清视频与精确标定。
• 该数据集规模是Caltech行人数据集的七倍，适用于深度学习模型的训练。
• 同步的国际象棋盘图案与真值3D点的引入，使得高精度捆绑调整与标定评估成为可能。
• 定制标注工具在复用前一帧标注时，将标注时间减少了50%，且受训标注员实现了高精度。
• 该数据集同时支持多视角检测与单目检测，丰富的视觉上下文提升了模型泛化能力。
• 在WILDTRACK上的基准测试表明，基于深度学习的多视角检测器显著优于传统方法，尤其在遮挡条件下表现更优。