[论文解读] Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion

Mingbao Lin, Bohong Chen+2 more|arXiv (Cornell University)|Jul 14, 2021

Advanced Neural Network Applications参考文献 62被引用 6

一句话总结

本文提出动态编码滤波器融合（DCFF），一种新颖的滤波器剪枝方法，可在不依赖预训练模型或稀疏正则化的情况下训练轻量级CNN。通过使用温度控制的滤波器间相似度分布作为滤波器代理，DCFF动态评估滤波器重要性，并通过加权平均融合滤波器，实现从零开始的高效端到端训练。该方法在显著降低FLOP和参数量的同时实现最先进性能，例如在VGGNet-16轻量模型中仅需72.77M FLOPs和1.06M参数即可达到CIFAR-10上93.47%的top-1准确率。

ABSTRACT

The mainstream approach for filter pruning is usually either to force a hard-coded importance estimation upon a computation-heavy pretrained model to select "important" filters, or to impose a hyperparameter-sensitive sparse constraint on the loss objective to regularize the network training. In this paper, we present a novel filter pruning method, dubbed dynamic-coded filter fusion (DCFF), to derive compact CNNs in a computation-economical and regularization-free manner for efficient image classification. Each filter in our DCFF is firstly given an inter-similarity distribution with a temperature parameter as a filter proxy, on top of which, a fresh Kullback-Leibler divergence based dynamic-coded criterion is proposed to evaluate the filter importance. In contrast to simply keeping high-score filters in other methods, we propose the concept of filter fusion, i.e., the weighted averages using the assigned proxies, as our preserved filters. We obtain a one-hot inter-similarity distribution as the temperature parameter approaches infinity. Thus, the relative importance of each filter can vary along with the training of the compact CNN, leading to dynamically changeable fused filters without both the dependency on the pretrained model and the introduction of sparse constraints. Extensive experiments on classification benchmarks demonstrate the superiority of our DCFF over the compared counterparts. For example, our DCFF derives a compact VGGNet-16 with only 72.77M FLOPs and 1.06M parameters while reaching top-1 accuracy of 93.47% on CIFAR-10. A compact ResNet-50 is obtained with 63.8% FLOPs and 58.6% parameter reductions, retaining 75.60% top-1 accuracy on ILSVRC-2012. Our code, narrower models and training logs are available at https://github.com/lmbxmu/DCFF.

研究动机与目标

• 解决现有滤波器剪枝方法依赖计算量大的预训练模型或对超参数敏感的稀疏性约束的局限性。
• 开发一种方法，用于生成在计算效率和准确性方面均优异的轻量级CNN，且无需微调或稀疏正则化。
• 通过使用温度控制的滤波器间相似度代理，实现在训练过程中动态评估滤波器重要性。
• 以滤波器融合替代滤波器移除，通过基于相对重要性的加权平均保留模型容量。
• 证明可从零开始训练出性能优越、复杂度更低的轻量级模型。

提出的方法

• 每个滤波器被分配一个温度控制的滤波器间相似度分布作为其代表性代理。
• 基于Kullback-Leibler散度的动态编码准则，通过比较每个滤波器的代理与所有滤波器的平均代理来评估其重要性。
• 重要性评分较低的滤波器不被丢弃，而是通过加权平均进行融合，其代理作为融合权重。
• 融合后的滤波器被保留为最终的轻量级模型，而原始滤波器则在训练过程中通过反向传播进行更新。
• 温度参数T逐渐增加以趋近于无穷大，使代理分布收敛为one-hot向量，从而实现动态重要性重评估。
• 该方法从零开始端到端运行，消除了对预训练的依赖，并避免了稀疏正则化约束。

实验结果

研究问题

• RQ1 是否可以不依赖计算量大的预训练模型实现滤波器剪枝？
• RQ2 是否可以不引入对超参数敏感的稀疏性约束，实现动态滤波器重要性评估？
• RQ3 基于代理的加权平均融合是否在保持模型准确率方面优于简单的滤波器移除？
• RQ4 是否可以使用无正则化、端到端的方法从零开始训练出性能优越的轻量级CNN？
• RQ5 代理分布中的温度参数如何影响最终轻量级模型的稳定性和性能？

主要发现

• 在CIFAR-10上，DCFF在仅72.77M FLOPs和1.06M参数的轻量级VGGNet-16中实现了93.47%的top-1准确率。
• 对于ResNet-50，DCFF将FLOPs降低63.8%，参数减少58.6%，同时在ImageNet上保持75.60%的top-1准确率。
• 当温度参数T增加至10^4时，性能趋于稳定，代理分布趋近于实现稳定重要性编码所必需的one-hot分布。
• 使用结构搜索（ABCPruner）或全局排序（EagleEye）确定每层剪枝比例，性能优于手动设定比例，DCFF在2256M FLOPs和18.02M参数下实现75.79%的top-1准确率。
• 随机滤波器融合导致性能下降至55.63%，证实了基于代理重要性的启发式引导对性能至关重要。
• 该方法在准确率和效率方面均优于现有基线，证明了其在无需预训练或稀疏性约束条件下的轻量级CNN训练中具有优越性。