[论文解读] Semantic Driven Multi-Camera Pedestrian Detection

Alejandro López-Cifuentes, Marcos Escudero-Viñolo+2 more|arXiv (Cornell University)|Dec 27, 2018

Video Surveillance and Tracking Methods被引用 7

一句话总结

本文提出了一种与场景无关、基于语义的多摄像头行人检测方法，利用自动提取的语义分割来定义一个通用的兴趣区域（AOI），并在摄像头之间联合优化检测结果。通过利用全局优化和语义线索，该方法在遮挡、拥挤场景中提升了检测精度，无需针对特定场景进行微调或手动标注AOI，且在五个公开数据集上优于当前最先进方法。

ABSTRACT

In the current worldwide situation, pedestrian detection has reemerged as a pivotal tool for intelligent video-based systems aiming to solve tasks such as pedestrian tracking, social distancing monitoring or pedestrian mass counting. Pedestrian detection methods, even the top performing ones, are highly sensitive to occlusions among pedestrians, which dramatically degrades their performance in crowded scenarios. The generalization of multi-camera set-ups permits to better confront occlusions by combining information from different viewpoints. In this paper, we present a multi-camera approach to globally combine pedestrian detections leveraging automatically extracted scene context. Contrarily to the majority of the methods of the state-of-the-art, the proposed approach is scene-agnostic, not requiring a tailored adaptation to the target scenario extemdash e.g., via fine-tunning. This noteworthy attribute does not require extit{ad hoc} training with labelled data, expediting the deployment of the proposed method in real-world situations. Context information, obtained via semantic segmentation, is used 1) to automatically generate a common Area of Interest for the scene and all the cameras, avoiding the usual need of manually defining it; and 2) to obtain detections for each camera by solving a global optimization problem that maximizes coherence of detections both in each 2D image and in the 3D scene. This process yields tightly-fitted bounding boxes that circumvent occlusions or miss-detections. Experimental results on five publicly available datasets show that the proposed approach outperforms state-of-the-art multi-camera pedestrian detectors, even some specifically trained on the target scenario, signifying the versatility and robustness of the proposed method without requiring ad-hoc annotations nor human-guided configuration.

研究动机与目标

• 解决在多摄像头设置下，于拥挤、易遮挡场景中进行行人检测的挑战。
• 消除多摄像头行人检测中对人工AOI定义和场景特定微调的需求。
• 通过融合多视角语义上下文和全局优化，提升检测的鲁棒性和精度。
• 开发一种可部署的通用解决方案，适用于真实世界视频监控，且无需为每个场景提供标注训练数据。

提出的方法

• 使用语义分割提取场景上下文，并在地平面自动定义一个全场景、角色标注的兴趣区域（AOI）。
• 利用单应性变换将来自最先进检测器（如EfficientDet）的每张摄像头检测结果投影到统一参考平面上。
• 采用基于图的连通组件方法融合多摄像头检测结果，确保空间一致性，并过滤掉AOI外的误报。
• 提出一种语义驱动的反投影方法，通过聚合多视角信息优化边界框，提升定位精度并减少遮挡相关误差。
• 采用全局优化框架，在2D图像空间和3D场景空间中同时最大化检测一致性，生成紧密贴合、一致的检测结果。
• 该方法通过依赖通用语义线索，避免对每个场景进行微调，从而实现在新环境中的快速部署。

实验结果

研究问题

• RQ1 多摄像头行人检测系统是否能在无需场景特定微调或人工AOI标注的情况下实现高性能？
• RQ2 语义分割在遮挡、拥挤场景中如何提升多摄像头行人检测的精度与鲁棒性？
• RQ3 与专门在目标数据集上训练的最先进方法相比，与场景无关的方法在多大程度上能实现性能超越？
• RQ4 与人工标注的AOI相比，自动生成的AOI在检测性能和泛化能力方面表现如何？
• RQ5 基于语义线索的全局优化是否能有效解决由自遮挡和校准误差引起的检测不一致性？

主要发现

• 所提方法在五个公开数据集（包括PETS和Wildtrack）上优于所有未进行微调的最先进多摄像头行人检测方法。
• 在Wildtrack数据集上，当基于作者手动标注的AOI进行评估时，该方法整体排名第三，优于场景特定模型Top-DeepMCD（提升8.33%）和DenseNet-DeepMCD（提升3.17%）。
• 当在与最先进方法相同的AOI下进行评估时，该方法相比GMC-3D（该方法的先前版本，增加了Re-ID特征）实现了17.85%的性能提升。
• 在PETS数据集上，尽管未在该数据集上进行训练，该方法相比Pre-DeepMCD检测性能提升了45.45%。
• 使用自动生成的AOI可实现比人工标注AOI更优的地面平面覆盖，尽管由于真实标注的局限性导致性能略有下降，凸显了该方法对AOI定义的鲁棒性。
• 通过利用语义线索解决多视角间的遮挡与检测不一致性，该方法在拥挤场景中实现了高精度与紧密贴合的边界框。