[论文解读] TSBOW: Traffic Surveillance Benchmark for Occluded Vehicles Under Various Weather Conditions

Ngoc Doan-Minh Huynh, Duong Nguyen‐Ngoc Tran+11 more|arXiv (Cornell University)|Feb 5, 2026

Advanced Neural Network Applications被引用 0

一句话总结

TSBOW 是一个面向遮挡车辆、覆盖多天气条件的大规模 CCTV 基础交通监控基准，包含超过 320 万帧、八个类别，具有半自动标注与基线检测结果，基线模型使用 YOLOv8/11/12 与 RT-DETR。

ABSTRACT

Global warming has intensified the frequency and severity of extreme weather events, which degrade CCTV signal and video quality while disrupting traffic flow, thereby increasing traffic accident rates. Existing datasets, often limited to light haze, rain, and snow, fail to capture extreme weather conditions. To address this gap, this study introduces the Traffic Surveillance Benchmark for Occluded vehicles under various Weather conditions (TSBOW), a comprehensive dataset designed to enhance occluded vehicle detection across diverse annual weather scenarios. Comprising over 32 hours of real-world traffic data from densely populated urban areas, TSBOW includes more than 48,000 manually annotated and 3.2 million semi-labeled frames; bounding boxes spanning eight traffic participant classes from large vehicles to micromobility devices and pedestrians. We establish an object detection benchmark for TSBOW, highlighting challenges posed by occlusions and adverse weather. With its varied road types, scales, and viewpoints, TSBOW serves as a critical resource for advancing Intelligent Transportation Systems. Our findings underscore the potential of CCTV-based traffic monitoring, pave the way for new research and applications. The TSBOW dataset is publicly available at: https://github.com/SKKUAutoLab/TSBOW.

研究动机与目标

• 在 CCTV 交通监控中推动在极端天气与遮挡条件下的鲁棒车辆检测。
• 提供一个贯穿城市道路、路口以及灾害条件、覆盖所有季节的大规模多场景数据集。
• 开发半自动标注管线以生成高质量 ground truth 并促进智能交通系统领域的研究。
• 建立基线目标检测基准，以评估在遮挡和不良天气下的性能。

提出的方法

• 开发包含 ROI 预处理、人工标注、通过微调的 YOLOv12x 进行自动标注、核验与后处理的半自动迭代标注管线。
• assembled TSBOW：198 段视频、320 万帧、7110 万边界框，覆盖八个类别（汽车、公交车、卡车、小型卡车、微交通、行人、未识别、其他）。
• 使用在 COCO 上预训练并在 TSBOW 上在 1280 px 分辨率微调的 YOLOv8x、YOLOv11x、YOLOv12x 与 RT-DETR-x 对 Baselines 进行评估。
• 分析不同天气、路型、尺度与遮挡水平下的检测性能，以理解遮挡目标检测的挑战。

实验结果

研究问题

• RQ1 遮挡与不良天气如何影响 CCTV 交通画面中的目标检测性能？
• RQ2 在多样化、遮挡丰富、天气多样的数据集上训练的当前模型（YOLOv8/11/12、RT-DETR）的检测能力与限制是什么？
• RQ3 在包括城市大道和灾害条件的场景中，使用 TSBOW 训练是否能提升跨域鲁棒性？
• RQ4 在 TSBOW 中，类别层面和情景层面的因素（如尺度、路型、天气）对检测准确性的影响有哪些？

主要发现

• YOLOv12x 在人工标注的测试集上实现最高的整体精度与 mAP 指标（Precision 0.806，Recall 0.662，mAP50 0.744，mAP50-95 0.615）。
• RT-DETR-x 具有最高的召回率但在精度和定位指标上较低（Precision 0.731，Recall 0.740，mAP50 0.718，mAP50-95 0.552）。
• 在跨数据集对比中，基于 TSBOW 训练的模型在精度与召回的平衡方面优于在 UAVDT 或 UA-DETRAC 上训练的模型（例如在 TSBOW 上的 YOLOv12x 在对比集上具有较高的召回率与 mAP50/mAP50-95）。
• TSBOW 覆盖 32.36 小时的影像、320 万帧、198 段视频、8 个对象类别，涵盖四季与多样路型，具有广泛遮挡与天气多样性（包括强雾与降雪）。
• 数据集中包含 7110 万个边界框，类别分布均衡且遮挡变异显著，为交通监控中的遮挡对象检测提供了稳健的基准。