[论文解读] Towards Evolutional Compression

Yunhe Wang, Chang Xu+3 more|arXiv (Cornell University)|Jul 25, 2017

Advanced Neural Network Applications参考文献 20被引用 12

一句话总结

本文提出一种基于遗传算法的进化压缩方法，可自动识别并消除卷积神经网络（CNN）中的冗余卷积滤波器。通过将每个压缩后的网络视为种群中的一个二进制个体，该方法进化生成紧凑且准确的模型，在保持 ImageNet 和 CIFAR-10 等基准数据集性能的前提下，实现显著的压缩率与加速比。

ABSTRACT

Compressing convolutional neural networks (CNNs) is essential for transferring the success of CNNs to a wide variety of applications to mobile devices. In contrast to directly recognizing subtle weights or filters as redundant in a given CNN, this paper presents an evolutionary method to automatically eliminate redundant convolution filters. We represent each compressed network as a binary individual of specific fitness. Then, the population is upgraded at each evolutionary iteration using genetic operations. As a result, an extremely compact CNN is generated using the fittest individual. In this approach, either large or small convolution filters can be redundant, and filters in the compressed network are more distinct. In addition, since the number of filters in each convolutional layer is reduced, the number of filter channels and the size of feature maps are also decreased, naturally improving both the compression and speed-up ratios. Experiments on benchmark deep CNN models suggest the superiority of the proposed algorithm over the state-of-the-art compression methods.

研究动机与目标

• 解决在计算与内存资源有限的移动设备和边缘设备上部署大规模深度 CNN 的挑战。
• 克服现有压缩方法依赖于冗余性固定假设（如小权重或低秩滤波器）的局限性。
• 开发一种自动化、自适应的方法，以发现超越传统假设的卷积滤波器中多样化的冗余类型。
• 在不牺牲模型准确率的前提下，实现高比例的压缩与加速，从而支持直接在移动平台上的部署。
• 确保压缩后的网络仍为标准可部署的 CNN，无需依赖专用解码器或推理引擎。

提出的方法

• 将每个压缩后的 CNN 表示为一个二进制个体，其中每位编码一个卷积滤波器的存在或缺失状态。
• 将网络压缩建模为一个二值优化问题，适应度函数由模型准确率与紧凑性共同定义。
• 通过跨代的遗传操作（交叉与变异）演化种群，逐步获得更优、更紧凑的网络架构。
• 在适应度评估过程中使用训练数据的小子集进行快速微调，从而实现高效的进化搜索。
• 利用大滤波器与小滤波器、高频分量均可能具有冗余性的事实，实现更广泛的冗余检测。
• 不仅减少滤波器数量，还减少特征图通道数，从而在各层间实现级联压缩效益。

实验结果

研究问题

• RQ1 进化算法能否自动发现并消除超越传统假设的卷积滤波器中多样化类型的冗余？
• RQ2 与手工设计或基于启发式的压缩方法相比，进化搜索在模型尺寸与推理速度方面能实现多大程度的性能提升？
• RQ3 所提出的方法在标准基准数据集上是否能在实现高比例压缩的同时保持分类准确率？
• RQ4 特征图与滤波器通道的压缩如何共同促进移动设备部署中的整体效率提升？
• RQ5 最终生成的压缩网络是否仍为标准可部署的 CNN，而无需专用推理硬件或解码支持？

主要发现

• 在 ResNet-50 上，该方法实现了 8.81× 的压缩率，在 VGGNet-16 上达到 11.38×，部分层的加速比超过 30×。
• 压缩后的网络保持了与原始模型相当的准确率，通过小样本数据集微调可实现快速收敛。
• 在 VGGNet-16 上，特征图的压缩率最高达到 2.54×，表明该方法不仅减少了模型权重，还显著降低了激活内存使用量。
• 当与 8 位量化结合时，ResNet-50 的压缩率提升至约 16×，显著优于基线方法。
• 最终压缩模型仍为标准 CNN，可直接部署于移动设备，无需额外解码或硬件支持。
• 进化方法发现，大滤波器与小滤波器，以及高频分量，均可能具有冗余性，从而挑战了关于滤波器重要性的传统假设。