[论文解读] SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

Forrest Iandola, Song Han+4 more|arXiv (Cornell University)|Feb 24, 2016

Advanced Neural Network Applications参考文献 40被引用 5,918

一句话总结

SqueezeNet 是一种轻量级卷积神经网络架构，在 ImageNet 上实现了与 AlexNet 相当的准确率，参数量减少 50 倍，模型大小低于 0.5MB。它通过采用带有挤压-激励操作的火炉模块设计、跳跃连接以及模型压缩技术，极大减少了模型尺寸，同时保持了高准确率，从而实现了在资源受限设备（如 FPGA 和嵌入式系统）上的高效部署。

ABSTRACT

Recent research on deep neural networks has focused primarily on improving accuracy. For a given accuracy level, it is typically possible to identify multiple DNN architectures that achieve that accuracy level. With equivalent accuracy, smaller DNN architectures offer at least three advantages: (1) Smaller DNNs require less communication across servers during distributed training. (2) Smaller DNNs require less bandwidth to export a new model from the cloud to an autonomous car. (3) Smaller DNNs are more feasible to deploy on FPGAs and other hardware with limited memory. To provide all of these advantages, we propose a small DNN architecture called SqueezeNet. SqueezeNet achieves AlexNet-level accuracy on ImageNet with 50x fewer parameters. Additionally, with model compression techniques we are able to compress SqueezeNet to less than 0.5MB (510x smaller than AlexNet). The SqueezeNet architecture is available for download here: https://github.com/DeepScale/SqueezeNet

研究动机与目标

• 设计一种参数量显著少于 AlexNet 的 CNN 架构，同时保持与之相当的 ImageNet 准确率。
• 探索 CNN 微架构与宏架构的设计空间，以识别高效、准确且紧凑的模型。
• 实现在内存受限硬件（如 FPGA 和嵌入式系统）上深度学习模型的实际部署。
• 提出一种以参数效率为核心、不牺牲准确率的 CNN 架构设计系统化方法。
• 证明模型压缩可与架构创新有效结合，实现超紧凑模型。

提出的方法

• 引入火炉模块作为核心构建单元，由一个使用 1×1 卷积的挤压层，后接一个包含混合 1×1 和 3×3 卷积的扩展层组成。
• 采用 0.125 的挤压比（SR），在扩展层之前将特征图通道数减少 8 倍，以最小化参数量。
• 同时使用简单和复杂的残差（跳跃）连接，以改善梯度流动并提升准确率，其中简单跳跃连接不增加参数。
• 应用模型压缩技术，包括剪枝、8 位整数量化以及霍夫曼编码，将 SqueezeNet 压缩至 0.5MB 以下。
• 对微架构（层组织结构）和宏架构（高层结构）进行系统性设计空间探索，以优化模型大小与准确率。
• 采用系统化、基于搜索的架构设计方法，聚焦于参数效率，同时保持性能。

实验结果

研究问题

• RQ1 能否设计一种 CNN 架构，在 ImageNet 上实现与 AlexNet 相当的准确率，同时参数量显著减少？
• RQ2 滤波器大小、深度和残差连接等架构选择如何影响模型大小与准确率？
• RQ3 在不牺牲准确率的前提下，模型压缩技术能在多大程度上减小 SqueezeNet 这类紧凑 CNN 的模型大小？
• RQ4 在低参数量 CNN 中，简单与复杂跳跃连接对准确率和参数量的影响如何？
• RQ5 系统性设计空间探索能否带来高度高效的 CNN 架构发现？

主要发现

• SqueezeNet 在 ImageNet 上实现了 57.5% 的 top-1 准确率，达到与 AlexNet 相当的性能，但仅使用了 120 万个参数——比 AlexNet 少 50 倍。
• 通过模型压缩，SqueezeNet 被压缩至 0.5MB 以下（比未压缩的 AlexNet 小 510 倍），从而可在自动驾驶汽车中实现高效的空中更新。
• 简单跳跃连接将 top-1 准确率提升了 2.9 个百分点（达到 60.4%），且未增加模型大小，优于复杂跳跃连接。
• 在挤压层中使用 1×1 卷积可显著减少参数量，同时保持模型的表征能力。
• 设计空间探索表明，滤波器大小、深度和残差连接等架构选择对模型大小与准确率之间的权衡具有显著影响。
• SqueezeNet 可在 FPGA 上实现片上部署，即使片上内存有限（如 8.5MB），也能在推理过程中避免访问片外内存。