[论文解读] The Mapillary Traffic Sign Dataset for Detection and Classification on a Global Scale

Christian Ertler, Jerneja Mislej+4 more|arXiv (Cornell University)|Sep 10, 2019

Advanced Neural Network Applications参考文献 7被引用 5

一句话总结

本文介绍了Mapillary交通标志数据集（MTSD），这是一个大规模、全球多样化的基准数据集，包含100,000张街景图像，涵盖313个类别的250,000多个标注交通标志。该研究采用两阶段网络架构，分离检测与分类分支，建立了强大的检测与分类基线，313个类别上达到83.4%的mAP，同时验证了在其他数据集上的迁移学习优势。

ABSTRACT

Traffic signs are essential map features globally in the era of autonomous driving and smart cities. To develop accurate and robust algorithms for traffic sign detection and classification, a large-scale and diverse benchmark dataset is required. In this paper, we introduce a traffic sign benchmark dataset of 100K street-level images around the world that encapsulates diverse scenes, wide coverage of geographical locations, and varying weather and lighting conditions and covers more than 300 manually annotated traffic sign classes. The dataset includes 52K images that are fully annotated and 48K images that are partially annotated. This is the largest and the most diverse traffic sign dataset consisting of images from all over world with fine-grained annotations of traffic sign classes. We have run extensive experiments to establish strong baselines for both the detection and the classification tasks. In addition, we have verified that the diversity of this dataset enables effective transfer learning for existing large-scale benchmark datasets on traffic sign detection and classification. The dataset is freely available for academic research: https://www.mapillary.com/dataset/trafficsign.

研究动机与目标

• 为解决当前缺乏大规模、全球多样化、具备细粒度类别标注的交通标志数据集，以支持鲁棒的检测与分类任务。
• 基于具有全球代表性的数据集，利用深度学习建立交通标志检测与细粒度分类的强基线。
• 评估从MTSD到其他基准数据集的迁移学习有效性，特别是在低资源或窄域设置下的表现。
• 探索利用数据集中部分标注图像进行半监督学习的潜力。
• 为未来基于零样本学习与层次分类的全球交通标志分类体系发展奠定基础。

提出的方法

• 从全球多样化地点收集100,000张街景图像，其中52,000张完全标注，48,000张通过标签传播进行部分标注。
• 采用两阶段目标检测框架：基于ResNet的二分类检测器生成区域建议，随后使用解耦的浅层分类器进行细粒度314类预测（313个类别 + '其他标志'及前景/背景）。
• 采用包含7个卷积层的分类头，集成批归一化、最大池化、空间平均池化，并使用314分类的Softmax输出头进行多分类。
• 使用SGD配合余弦退火策略进行训练：初始初始值为1e-2，在第10和第20个周期分别降低为0.1，共训练30个周期，每个批次平衡采样128个类别（每类3张样本）和128个背景区域。
• 通过在MTSD上预训练并在TT100K上微调，应用迁移学习，验证模型的泛化能力。
• 以平均平均精度（mAP）为主要评估指标，过滤掉'其他标志'预测后，对全部313个类别进行逐类计算并取平均。

实验结果

研究问题

• RQ1 一个全球多样化的大型交通标志数据集是否能提升模型在不同环境和标志类型下的泛化能力？
• RQ2 在两阶段网络架构中，将检测与分类解耦是否相比端到端训练能带来更优的细粒度交通标志识别性能？
• RQ3 MTSD在多大程度上可作为预训练源，以提升较小、领域特定基准（如TT100K）上的性能？
• RQ4 在交通标志识别中，利用部分标注图像进行半监督学习的效率如何？
• RQ5 所提出的数据集是否能支持未来基于零样本学习的全球、层次化交通标志分类体系的构建？

主要发现

• 所提出的两阶段检测与分类流程在MTSD基准的313类检测与分类任务中达到83.4%的mAP。
• 基于ResNet50的变体达到81.4%的mAP，表明轻量化主干网络也能实现优异性能，体现了模型的可扩展性。
• 从MTSD迁移学习到TT100K使性能相比之前最先进基线提升8.3个百分点，验证了MTSD的泛化能力。
• 解耦分类器设计显著优于端到端训练，尤其在小目标检测与类别不平衡问题上表现更优。
• MTSD中48,000张部分标注图像为未来交通标志识别的半监督学习研究提供了可行基础。
• 数据集的全球多样性与细粒度类别覆盖，使得即使在窄域基准上也能实现有效的迁移学习，表明其在实际部署中的广泛适用性。