[论文解读] Rethinking Training from Scratch for Object Detection

Yang Li, Hong Zhang+1 more|arXiv (Cornell University)|Jun 6, 2021

Advanced Neural Network Applications参考文献 31被引用 6

一句话总结

本文提出直接检测预训练（direct detection pre-training），一种新颖的训练流程：在目标检测数据集上使用低分辨率图像直接预训练目标检测器，随后在高分辨率输入上进行微调。通过在预训练阶段使用大批次大小的批量归一化，该方法在 COCO 上将预训练速度提升 11 倍以上，mAP 提升 1.8 个百分点，优于 ImageNet 预训练，且在有限 GPU 显存（11GB）下仍具高效性。

ABSTRACT

The ImageNet pre-training initialization is the de-facto standard for object detection. He et al. found it is possible to train detector from scratch(random initialization) while needing a longer training schedule with proper normalization technique. In this paper, we explore to directly pre-training on target dataset for object detection. Under this situation, we discover that the widely adopted large resizing strategy e.g. resize image to (1333, 800) is important for fine-tuning but it's not necessary for pre-training. Specifically, we propose a new training pipeline for object detection that follows `pre-training and fine-tuning', utilizing low resolution images within target dataset to pre-training detector then load it to fine-tuning with high resolution images. With this strategy, we can use batch normalization(BN) with large bath size during pre-training, it's also memory efficient that we can apply it on machine with very limited GPU memory(11G). We call it direct detection pre-training, and also use direct pre-training for short. Experiment results show that direct pre-training accelerates the pre-training phase by more than 11x on COCO dataset while with even +1.8mAP compared to ImageNet pre-training. Besides, we found direct pre-training is also applicable to transformer based backbones e.g. Swin Transformer. Code will be available.

研究动机与目标

• 开发一种更快、更高效的从零开始训练目标检测器的流水线，摆脱对 ImageNet 预训练的依赖。
• 解决从零开始训练检测器的低效问题，特别是由于小批量大小和高分辨率设置下的显存限制。
• 探究是否可直接在目标检测数据集上进行预训练（使用完整的边界框和掩码标注）以超越 ImageNet 预训练的效果。
• 通过使用低分辨率预训练结合批量归一化，实现在有限 GPU 显存（如每张 GPU 11GB）下的有效训练。
• 在多种架构（包括 CNN 和 Swin Transformer）及低数据设置下验证该方法的有效性。

提出的方法

• 提出两阶段训练流程：在目标数据集的低分辨率图像（如 640×640）上使用批量归一化和大批次大小进行预训练。
• 在高分辨率图像（如 1333×800）上使用标准检测训练协议对预训练模型进行微调。
• 在预训练阶段充分利用边界框和掩码标注的完整监督信息，不同于以往仅使用分类标签的方法。
• 避免使用复杂模块（如组归一化或同步批量归一化），保持方法的简洁性与高效性。
• 使用标准检测头和主干网络（如 ResNeXt、Swin Transformer），无需架构修改。
• 采用从粗到精的策略，即低分辨率预训练提升高分辨率微调的初始化质量。

实验结果

研究问题

• RQ1 在目标检测任务中，直接在目标检测数据集上进行预训练是否能在速度和精度上均优于 ImageNet 预训练？
• RQ2 在使用目标数据集的低分辨率图像进行预训练时，是否可行使用批量归一化配合大批次大小？
• RQ3 直接预训练在基于 Transformer 的主干网络（如 Swin Transformer）上是否依然有效？
• RQ4 在低数据设置下（如 1/10 COCO、PASCAL VOC），直接预训练的表现如何？
• RQ5 在显存有限的硬件（如每张 GPU 11GB）上，直接预训练是否能高效部署，而无需专用硬件？

主要发现

• 与从零开始的标准训练相比，直接预训练在 COCO 上将预训练阶段加速超过 11 倍，同时 mAP 提升 1.8 个百分点，优于 ImageNet 预训练。
• 该方法实现更快的训练与推理：每轮迭代训练时间仅为 0.424 秒（对比 ImageNet 的 0.478 秒），在 1080Ti 上推理速度达 8.6 fps，与 ImageNet 微调相当。
• 在 COCO 上，直接预训练在多种检测器上均优于 ImageNet 预训练：RetinaNet（+0.6 mAP）、Faster R-CNN（+1.9 mAP）、Cascade R-CNN（+1.2 mAP），以及使用 Swin-T 的 Mask R-CNN（+1.2 mAP）。
• 该方法显存效率高，在 8×2080Ti GPU（每张 11GB）上运行，无需 TPU 或高显存配置，避免了以往方法对高资源的依赖。
• 直接预训练在 Swin Transformer 上表现优异，使用 Swin-T 在 COCO 上达到 45.0 mAP，优于 ImageNet 预训练基线（43.8 mAP）。
• 在低数据设置下（1/10 COCO），直接预训练仍优于 ImageNet 预训练（23.2 vs. 22.1 mAP），但在 PASCAL VOC 上，ImageNet 预训练仍更优，表明在极小数据集上存在局限性。