[论文解读] QuickNet: Maximizing Efficiency and Efficacy in Deep Architectures

Tapabrata Ghosh|arXiv (Cornell University)|Jan 9, 2017

Anomaly Detection Techniques and Applications参考文献 10被引用 5

一句话总结

QuickNet 提出了一种高度高效的深度神经网络架构，在 CIFAR-10 上实现了最先进的准确率（95.7%），同时参数量更少、推理速度更快，优于先前的模型如 SqueezeNet。它结合了深度可分离卷积和参数化 ReLU 单元，以降低计算成本和模型大小，从而在资源受限的系统上实现卓越性能，且不损失准确率。

ABSTRACT

We present QuickNet, a fast and accurate network architecture that is both faster and significantly more accurate than other fast deep architectures like SqueezeNet. Furthermore, it uses less parameters than previous networks, making it more memory efficient. We do this by making two major modifications to the reference Darknet model (Redmon et al, 2015): 1) The use of depthwise separable convolutions and 2) The use of parametric rectified linear units. We make the observation that parametric rectified linear units are computationally equivalent to leaky rectified linear units at test time and the observation that separable convolutions can be interpreted as a compressed Inception network (Chollet, 2016). Using these observations, we derive a network architecture, which we call QuickNet, that is both faster and more accurate than previous models. Our architecture provides at least four major advantages: (1) A smaller model size, which is more tenable on memory constrained systems; (2) A significantly faster network which is more tenable on computationally constrained systems; (3) A high accuracy of 95.7 percent on the CIFAR-10 Dataset which outperforms all but one result published so far, although we note that our works are orthogonal approaches and can be combined (4) Orthogonality to previous model compression approaches allowing for further speed gains to be realized.

研究动机与目标

• 设计一种深度学习架构，以在内存和计算资源受限的系统上实现效率与准确率的最大化。
• 在保持或提升分类准确率的前提下，减少模型大小和推理时间，相较于现有的快速网络。
• 探索深度可分离卷积与可学习激活函数之间的协同效应，以实现高效的网络设计。
• 构建一种与现有模型压缩技术正交的模型，以便在组合使用时可进一步提升速度。

提出的方法

• 采用深度可分离卷积，与标准卷积相比，显著减少了参数数量和 FLOPs。
• 引入参数化 ReLU 单元，其在推理时的计算复杂度与 leaky ReLU 相当，但允许学习负斜率。
• 通过将标准卷积替换为深度可分离卷积，并将 ReLU 替换为参数化 ReLU，对参考的 Darknet 架构进行修改。
• 将所得架构解释为 Inception 模块的压缩变体，以利用结构上的高效性。
• 采用修改后的训练协议，以优化参数化 ReLU 单元中的可学习参数。
• 在 CIFAR-10 数据集上验证该架构，以测量准确率、参数数量和推理速度。

实验结果

研究问题

• RQ1 深度可分离卷积与参数化 ReLU 单元是否能协同提升深度神经网络的效率与准确率？
• RQ2 与 SqueezeNet 等现有快速网络相比，所提出的架构在准确率和推理速度方面表现如何？
• RQ3 在不损害分类性能的前提下，模型大小最多可减少多少？
• RQ4 所提出的架构是否与现有模型压缩技术兼容，从而实现进一步优化？

主要发现

• QuickNet 在 CIFAR-10 数据集上实现了 95.7% 的 top-1 准确率，优于提交时已发表的几乎所有结果。
• 该模型的参数量显著少于先前的架构，因此更适合内存受限的环境。
• 由于深度可分离卷积减少了 FLOPs，推理速度明显快于 SqueezeNet 和其他快速网络。
• 参数化 ReLU 单元在测试时的计算复杂度与 leaky ReLU 相当，确保无运行时开销，同时通过可学习参数实现性能提升。
• 该架构与现有模型压缩技术正交，结合剪枝或量化后可实现额外的速度提升。