[论文解读] Towards Learning of Filter-Level Heterogeneous Compression of Convolutional Neural Networks

Yochai Zur, Chaim Baskin+5 more|arXiv (Cornell University)|Apr 22, 2019

Anomaly Detection Techniques and Applications参考文献 42被引用 5

一句话总结

本文提出一种用于卷积神经网络滤波器级异构压缩的可微神经架构搜索（NAS）框架，联合优化各层的量化位宽与滤波器剪枝。通过将每个滤波器的压缩操作建模为可学习的概率，该方法在计算复杂度约束下实现端到端训练，在BOPs（位操作）预算下实现更高的准确率，尽管异构量化带来的方差限制了实际收益。

ABSTRACT

Recently, deep learning has become a de facto standard in machine learning with convolutional neural networks (CNNs) demonstrating spectacular success on a wide variety of tasks. However, CNNs are typically very demanding computationally at inference time. One of the ways to alleviate this burden on certain hardware platforms is quantization relying on the use of low-precision arithmetic representation for the weights and the activations. Another popular method is the pruning of the number of filters in each layer. While mainstream deep learning methods train the neural networks weights while keeping the network architecture fixed, the emerging neural architecture search (NAS) techniques make the latter also amenable to training. In this paper, we formulate optimal arithmetic bit length allocation and neural network pruning as a NAS problem, searching for the configurations satisfying a computational complexity budget while maximizing the accuracy. We use a differentiable search method based on the continuous relaxation of the search space proposed by Liu et al. (arXiv:1806.09055). We show, by grid search, that heterogeneous quantized networks suffer from a high variance which renders the benefit of the search questionable. For pruning, improvement over homogeneous cases is possible, but it is still challenging to find those configurations with the proposed method. The code is publicly available at https://github.com/yochaiz/Slimmable and https://github.com/yochaiz/darts-UNIQ

研究动机与目标

• 解决低功耗系统中深度CNN的高计算成本问题。
• 探索滤波器级的异构压缩，结合量化与剪枝以提升效率。
• 将位宽与滤波器数量的联合优化建模为可微NAS问题。
• 评估异构配置相较于同质基线的有效性。

提出的方法

• 将滤波器级压缩操作（量化与剪枝）建模为使用连续松弛的可学习概率。
• 采用基于Liu等人（2019a）的可微搜索方法，其中操作概率由α参数化，并通过Gumbel-Softmax技巧进行软取最大值。
• 将网络配置定义为伪矩阵a，对每层滤波器分配操作。
• 利用重参数化技巧和配置期望，推导出关于α的期望损失J(α; ω)的梯度。
• 采用BOPs（位操作）作为计算复杂度度量，考虑权重、激活和累加器的位宽。
• 引入分层BOPs计算方法，建模滤波器级位宽及激活/权重精度对MAC操作的影响。

实验结果

研究问题

• RQ1 可微NAS能否有效学习CNN的异构滤波器级压缩配置？
• RQ2 与同质量化相比，异构量化（每滤波器位宽可变）在准确率与方差方面表现如何？
• RQ3 在BOPs预算下，联合优化量化与剪枝是否优于同质压缩以获得更高准确率？
• RQ4 滤波器级位宽分配对计算复杂度与模型性能有何影响？

主要发现

• 异构量化导致性能方差较高，使搜索过程不可靠，降低了优化的收益。
• 对于剪枝，该方法在同质配置基础上实现性能提升，尽管收敛至最优配置仍具挑战。
• 当使用自定义精度数据类型时，BOPs度量能准确捕捉计算复杂度，尤其在FPGA或ASIC上表现更佳。
• 所提出的可微NAS框架支持基于梯度的滤波器级压缩操作端到端训练。
• 该方法证明了位宽与滤波器数量联合优化的可行性，但实际收益受限于量化设置的高方差。
• 代码已公开发布于 https://github.com/yochaiz/Slimmable 和 https://github.com/yachaiz/darts-UNIQ，以支持可复现性。