[论文解读] ScratchDet: Training Single-Shot Object Detectors from Scratch

Rui Zhu, Shifeng Zhang+5 more|arXiv (Cornell University)|Oct 19, 2018

Advanced Neural Network Applications参考文献 35被引用 8

一句话总结

该论文提出 ScratchDet，一种通过在主干网络和检测头网络中集成批量归一化（BatchNorm）从零开始训练的单阶段目标检测器，实现了无需预训练的稳定训练和高性能。通过引入一种新型的 Root-ResNet 主干网络，该网络保留了特征图的分辨率，ScratchDet 在 PASCAL VOC 2007（86.3% mAP）、VOC 2012（86.3% mAP）和 MS COCO（采用多尺度测试时达到 39.1% AP）上均取得了当前最优性能，优于多个使用 ImageNet 预训练的检测器。

ABSTRACT

Current state-of-the-art object objectors are fine-tuned from the off-the-shelf networks pretrained on large-scale classification dataset ImageNet, which incurs some additional problems: 1) The classification and detection have different degrees of sensitivity to translation, resulting in the learning objective bias; 2) The architecture is limited by the classification network, leading to the inconvenience of modification. To cope with these problems, training detectors from scratch is a feasible solution. However, the detectors trained from scratch generally perform worse than the pretrained ones, even suffer from the convergence issue in training. In this paper, we explore to train object detectors from scratch robustly. By analysing the previous work on optimization landscape, we find that one of the overlooked points in current trained-from-scratch detector is the BatchNorm. Resorting to the stable and predictable gradient brought by BatchNorm, detectors can be trained from scratch stably while keeping the favourable performance independent to the network architecture. Taking this advantage, we are able to explore various types of networks for object detection, without suffering from the poor convergence. By extensive experiments and analyses on downsampling factor, we propose the Root-ResNet backbone network, which makes full use of the information from original images. Our ScratchDet achieves the state-of-the-art accuracy on PASCAL VOC 2007, 2012 and MS COCO among all the train-from-scratch detectors and even performs better than several one-stage pretrained methods. Codes will be made publicly available at https://github.com/KimSoybean/ScratchDet.

研究动机与目标

• 消除目标检测中对 ImageNet 预训练主干网络的依赖，从而避免引入架构约束和优化偏差。
• 实现在多种网络架构下从随机初始化开始的稳定检测器训练。
• 在不使用预训练的情况下，实现与预训练模型相当或更优的检测性能。
• 通过重新设计网络初始特征提取阶段，提升小目标检测性能。

提出的方法

• 在主干网络和检测头子网络中均集成批量归一化层，以稳定训练动态并改善优化景观的平滑性。
• 提出一种新型的 Root-ResNet 主干网络，其重新设计的根块可保持高分辨率特征图，增强原始图像信息的流动。
• 通过大量消融实验研究下采样因子和采样步长的影响，指导网络架构设计，尤其关注早期卷积层的设计。
• 在 PASCAL VOC 和 MS COCO 数据集上，使用标准训练协议从随机初始化开始训练检测器，完全不依赖 ImageNet 预训练。
• 采用多尺度测试进一步提升在 MS COCO 上的性能，实现了最先进结果。
• 通过在 MS COCO 上训练并在 PASCAL VOC 上微调，验证了模型的泛化能力，展现出优异的迁移性能。

实验结果

研究问题

• RQ1 能否从零开始训练目标检测器，使其性能达到或超过预训练模型？
• RQ2 批量归一化在从随机初始化开始训练目标检测器时，其稳定训练的作用是什么？
• RQ3 早期卷积层中下采样策略的选择如何影响检测精度，特别是对小目标的影响？
• RQ4 能否设计一种新型主干网络架构，在不使用预训练的情况下保留空间信息并提升检测性能？
• RQ5 在 MS COCO 上从零开始训练是否能提升在下游数据集（如 PASCAL VOC）上的性能？

主要发现

• 使用多尺度测试，ScratchDet 在 PASCAL VOC 2007 上达到 86.3% mAP，在 VOC 2012 上也达到 86.3%，创下从零训练检测器的新 SOTA 记录。
• 在 MS COCO 上，ScratchDet300 在多尺度测试下达到 39.1% AP，优于所有输入尺寸相近的其他单阶段检测器。
• 与之前 SOTA 的从零训练方法 GRP-DSOD320 相比，ScratchDet300 在 MS COCO 上的 AP 提升了 2.7%。
• 在 MS COCO 上，该模型对小目标的 AP 达到 13.0%，比 SSD321 提升 6.8%，展现出强大的小目标检测能力。
• 在主干网络和检测头中同时集成 BatchNorm，使得在多种架构（如 VGGNet、ResNet）下无需预训练即可实现稳定训练。
• 在 MS COCO 上从零训练并在 PASCAL VOC 上微调，可在两个数据集上均取得最高的 mAP，证实了模型具备强大的泛化能力和迁移能力。