[论文解读] RepVGG: Making VGG-style ConvNets Great Again

Xiaohan Ding, Xiangyu Zhang+4 more|arXiv (Cornell University)|Jan 11, 2021

Advanced Neural Network Applications参考文献 43被引用 43

一句话总结

RepVGG 采用多分支训练时架构，然后通过结构重参数化在推理时转换为简单的 3x3 卷积主体，在 GPU 上实现快速推理且具有较高准确率。

ABSTRACT

We present a simple but powerful architecture of convolutional neural network, which has a VGG-like inference-time body composed of nothing but a stack of 3x3 convolution and ReLU, while the training-time model has a multi-branch topology. Such decoupling of the training-time and inference-time architecture is realized by a structural re-parameterization technique so that the model is named RepVGG. On ImageNet, RepVGG reaches over 80% top-1 accuracy, which is the first time for a plain model, to the best of our knowledge. On NVIDIA 1080Ti GPU, RepVGG models run 83% faster than ResNet-50 or 101% faster than ResNet-101 with higher accuracy and show favorable accuracy-speed trade-off compared to the state-of-the-art models like EfficientNet and RegNet. The code and trained models are available at https://github.com/megvii-model/RepVGG.

研究动机与目标

• 激励设计一个简单、快速、低内存的 CNN，能与多分支架构相比肩。
• 通过结构重参数化，将训练时的复杂性与推理时的简单性解耦。
• 展示在 ImageNet 与语义分割任务上的性能和速度优势。

提出的方法

• 提出 RepVGG，具有训练时多分支块（包括恒等和 1x1 分支）以及推理时的简单主体，由堆叠的 3x3 卷积再加 ReLU 构成。
• 使用结构重参数化在部署时将训练时的多分支块转换为等效的单一 3x3 卷积核（BN 折叠与卷积核聚合）。
• 推导将 BN 与前序卷积合并的方程，以及将 1x1 与恒等分支的贡献相加、填充到最终 3x3 内核中的方法（确保步幅与填充匹配）。
• 以类似 VGG 的简单拓扑在 5 个阶段中实例化结构，使用 3x3 卷积和受控下采样、全局平均池化以及一个最终分类头。
• 探索含有或不含分支的变体，对 BN 放置进行消融，并与 ResNet、EfficientNet 与 RegNet 基线进行对比。

实验结果

研究问题

• RQ1 训练时多分支设计是否可以重参数化为快速、纯粹推理时架构且不损失准确性？
• RQ2 RepVGG 的速度-准确性权衡在 ImageNet 上与最新模型（ResNet、EfficientNet、RegNet）相比如何？
• RQ3 采用 VGG 风格的 3x3 卷积的简单主体在 ImageNet 上是否具竞争力并可转移到语义分割？
• RQ4 在训练时结构中包含或移除恒等和 1x1 分支、BN 放置以及 ReLU 对最终性能有何影响？
• RQ5 结构重参数化是否在内存使用和部署简化方面带来实际收益？

主要发现

• RepVGG 使用简单推理时架构在 ImageNet 上达到超过 80% 的 top-1 准确率，这在他们的报告中是第一例简单双模型。
• 在 NVIDIA 1080Ti 上，RepVGG 模型比 ResNet-50 和 ResNet-101 运行更快且准确性更高，并且在速度-精度方面优于 EfficientNet 和 RegNet。
• 具备交错分组卷积（g2/g4）的体系变体在速度上显著提升，带来适度的精度损失（例如 RepVGG-B1g4 相对于 ResNet-101）。
• 结构重参数化（训练时多分支到推理时简单）被验证为关键：移除分支或 BN 放置会降低精度，而完全重参数化可获得最佳结果。
• 在消融实验中，RepVGG 的训练时 BN 与分支在参数量之外带来优势，超越 DiracNet 与简单的重参数化。
• RepVGG-B2/B3 变体展示了在 ImageNet 上的强劲性能（如最高 80.52% Top-1），在 FLOPs 竞争力和参数数量方面低于若干基线。