[论文解读] Network Decoupling: From Regular to Depthwise Separable Convolutions

Jianbo Guo, Yuxi Li+3 more|arXiv (Cornell University)|Aug 16, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用 69

一句话总结

本文证明常规卷积可以被精确表达为深度分离卷积之和，并引入网络分解（Network Decoupling，ND）——一种训练-free、部署时优化的方法，通过将层转换为深度分离形式来加速CNN，在尽量少的准确率损失下实现显著的加速，并能与其他零数据方法协同工作。

ABSTRACT

Depthwise separable convolution has shown great efficiency in network design, but requires time-consuming training procedure with full training-set available. This paper first analyzes the mathematical relationship between regular convolutions and depthwise separable convolutions, and proves that the former one could be approximated with the latter one in closed form. We show depthwise separable convolutions are principal components of regular convolutions. And then we propose network decoupling (ND), a training-free method to accelerate convolutional neural networks (CNNs) by transferring pre-trained CNN models into the MobileNet-like depthwise separable convolution structure, with a promising speedup yet negligible accuracy loss. We further verify through experiments that the proposed method is orthogonal to other training-free methods like channel decomposition, spatial decomposition, etc. Combining the proposed method with them will bring even larger CNN speedup. For instance, ND itself achieves about 2X speedup for the widely used VGG16, and combined with other methods, it reaches 3.7X speedup with graceful accuracy degradation. We demonstrate that ND is widely applicable to classification networks like ResNet, and object detection network like SSD300.

研究动机与目标

• 分析常规卷积与逐通道可分离卷积之间的数学关系。
• 推导一个闭式、无数据的张量分解，用以解耦常规卷积。
• 引入网络分解（ND）作为一种训练-free的部署时优化。
• 展示ND在VGG16、ResNet和SSD300上的加速效果及其与其他方法的互补性。

提出的方法

• 将常规卷积建模为一个4D张量W，并与深度可分离卷积（DW+PW或PW+DW）分解进行比较。
• 证明任意常规卷积都可以表示为若干深度可分离卷积的和，具有K项（K ≤ k_h k_w）。
• 引入精确的网络分解（ND）及解耦秩K，作为耦合冗余的度量。
• 提出一种近似的网络分解，使用前-T个分量（T ≤ K）以实现实际的加速。
• 表明ND是无数据的，并且与其他训练-free 方法（通道/空间分解、通道剪枝）互补。
• 给出基于前部奇异向量能量分布来选择 DW+PW 与 PW+DW 的指南。

实验结果

研究问题

• RQ1 常规卷积是否可以在不增加计算量的情况下，精确表示为深度可分离卷积的组合？
• RQ2 解耦秩K是多少，以及它与卷积核中的冗余有何关系？
• RQ3 在没有训练数据的情况下，是否可以实现有意义的加速，ND 如何与其他零数据加速方法协同？
• RQ4 ND 在常见架构（VGG16、ResNet、SSD300）以及微调情况下的表现如何？

主要发现

• 常规卷积可以无损扩展为深度可分离卷积之和，且不增加计算成本（适用于 DW+PW 或 PW+DW）。
• 解耦秩K受 k_h k_w 的界定，反映耦合冗余；较小的K带来更大的潜在加速。
• 使用前-T个分量的近似ND在可控的精度损失下实现显著加速；例如前4个分量在许多层中捕获了大部分能量。
• ND 在 VGG16（单一方法）可实现约1.8x加速，若与其他训练-free 方法组合，可达到约3.7x，且精度下降温和。
• 将ND应用于 ResNet18 可实现约1.5x加速，top-5下降约1.4%；与其他方法结合可进一步提升加速。
• 对于以 VGG16 作为主干的 SSD300，ND 可实现约2.1x加速，mAP 损失很小；与其他方法结合时提高到约2.0x加速，同时小幅 mAP 损失。
• 极度解耦的网络可以通过微调恢复精度，达到更大的加速（例如在 VGG16 上使用 10 轮训练可达 3.9x），且精度变化温和，优于某些无需微调的基线。