[论文解读] Towards Principled Design of Deep Convolutional Networks: Introducing SimpNet

Seyyed Hossein Hasanpour, Mohammad Rouhani+3 more|arXiv (Cornell University)|Feb 17, 2018

Advanced Neural Network Applications参考文献 2被引用 21

一句话总结

本文提出了 SimpNet，一种通过系统化架构原则设计的轻量级深度卷积网络，强调效率与性能。通过应用新颖的 SAF-pooling 机制以及最小化且有充分依据的设计选择，SimpNet 在 CIFAR-10、CIFAR-100、MNIST 和 SVHN 上实现了最先进（SOTA）的准确率，参数量和 FLOPs 仅为 ResNet 和 DenseNet 等深层模型的 2 至 25 倍。

ABSTRACT

Major winning Convolutional Neural Networks (CNNs), such as VGGNet, ResNet, DenseNet, \etc, include tens to hundreds of millions of parameters, which impose considerable computation and memory overheads. This limits their practical usage in training and optimizing for real-world applications. On the contrary, light-weight architectures, such as SqueezeNet, are being proposed to address this issue. However, they mainly suffer from low accuracy, as they have compromised between the processing power and efficiency. These inefficiencies mostly stem from following an ad-hoc designing procedure. In this work, we discuss and propose several crucial design principles for an efficient architecture design and elaborate intuitions concerning different aspects of the design procedure. Furthermore, we introduce a new layer called {\it SAF-pooling} to improve the generalization power of the network while keeping it simple by choosing best features. Based on such principles, we propose a simple architecture called {\it SimpNet}. We empirically show that SimpNet provides a good trade-off between the computation/memory efficiency and the accuracy solely based on these primitive but crucial principles. SimpNet outperforms the deeper and more complex architectures such as VGGNet, ResNet, WideResidualNet \etc, on several well-known benchmarks, while having 2 to 25 times fewer number of parameters and operations. We obtain state-of-the-art results (in terms of a balance between the accuracy and the number of involved parameters) on standard datasets, such as CIFAR10, CIFAR100, MNIST and SVHN. The implementations are available at \href{url}{https://github.com/Coderx7/SimpNet}.

研究动机与目标

• 为解决 VGGNet 和 ResNet 等深层复杂 CNN 模型效率低下问题，尽管准确率高，但需要大量计算与内存资源。
• 克服 SqueezeNet 等轻量级网络因非系统化设计而牺牲准确率以换取效率的权衡。
• 建立一种系统化设计框架，用于高效 CNN 的构建，支持细粒度调优与自动化架构搜索。
• 提出一种新型池化机制 SAF-pooling，通过模拟遮挡与视角变化提升泛化能力。
• 证明在合理设计原则指导下，简单浅层架构可超越更深更重的模型。

提出的方法

• 提出一组聚焦于效率、深度、卷积核大小与池化操作的架构设计原则，以系统化指导网络构建。
• 引入 SAF-pooling（选择性激活过滤），先对每通道的最高激活值进行池化，再随机丢弃部分以模拟真实数据中的变化。
• 设计 SimpNet 为仅含 3-5 个卷积模块的最小化深层网络，避免使用残差连接与复杂跳跃连接。
• 使用标准的 ReLU 非线性激活与批量归一化，但避免引入如密集块或高速公路连接等复杂结构。
• 在标准基准数据集（CIFAR-10/100、MNIST、SVHN）上进行训练与评估，不使用数据增强以隔离架构性能表现。
• 通过消融实验验证每一项设计原则及 SAF-pooling 的必要性。

实验结果

研究问题

• RQ1 能否通过最小化且系统化的 CNN 架构设计，在显著减少参数量的同时，实现比更深更复杂的架构更高的准确率？
• RQ2 SAF-pooling 如何在不增加模型复杂度的前提下提升泛化能力？
• RQ3 哪些关键架构原则能够实现高效且准确的网络设计？
• RQ4 网络的精简版本是否仍能保持相对于更重模型的性能优势？
• RQ5 在不使用数据增强或集成方法的情况下，简单架构能否实现最先进性能？

主要发现

• SimpNet 在 CIFAR-100 上达到 95.56% 的 top-1 准确率，仅使用 548 万个参数，优于参数更少的 ResNet-110（170 万）与 Wide ResNet（1100 万）。
• 在 CIFAR-10 上，SimpNet 达到 95.89% 的准确率，参数量为 890 万，优于 ResNet-110（93.57%）与 Wide ResNet（95.83%），且参数更少。
• 精简版 SimpNet 仅含 30 万个参数，在 MNIST 上达到 99.73% 的准确率，在无数据增强的模型中排名第二。
• 在 SVHN 上，SimpNet 实现 1.648% 的错误率，优于 ResNet（2.01%）与 DenseNet（1.79%-1.59%），且参数更少。
• 消融实验表明，每一项设计原则（包括 SAF-pooling）均不可或缺，移除任一组件均导致性能下降。
• 即使参数量仅为 30 万至 60 万个，SimpNet 在 CIFAR-10 与 CIFAR-100 上仍优于 ResNet（47.5 万）与 Wide ResNet（60 万），证明其对参数缩放的鲁棒性。