[论文解读] WSNet: Compact and Efficient Networks Through Weight Sampling

Xiaojie Jin, Shuicheng Yan+5 more|arXiv (Cornell University)|Nov 28, 2017

Music and Audio Processing参考文献 41被引用 3

一句话总结

WSNet 提出了一种新颖的权重采样架构，通过从一组紧凑的参数中采样卷积核，学习到更紧凑高效的深度神经网络，从而实现显著的模型压缩和计算量减少。该方法在音频分类任务中实现了最高180倍的模型尺寸缩小和最高16倍的推理速度提升，同时精度损失可忽略不计，优于当前最先进基线方法。

ABSTRACT

We present a new approach and a novel architecture, termed WSNet, for learning compact and efficient deep neural networks. Existing approaches conventionally learn full model parameters independently and then compress them via ad hoc processing such as model pruning or filter factorization. Alternatively, WSNet proposes learning model parameters by sampling from a compact set of learnable parameters, which naturally enforces {parameter sharing} throughout the learning process. We demonstrate that such a novel weight sampling approach (and induced WSNet) promotes both weights and computation sharing favorably. By employing this method, we can more efficiently learn much smaller networks with competitive performance compared to baseline networks with equal numbers of convolution filters. Specifically, we consider learning compact and efficient 1D convolutional neural networks for audio classification. Extensive experiments on multiple audio classification datasets verify the effectiveness of WSNet. Combined with weight quantization, the resulted models are up to 180 times smaller and theoretically up to 16 times faster than the well-established baselines, without noticeable performance drop.

研究动机与目标

• 解决在资源受限环境中深度神经网络模型尺寸过大和计算成本过高的问题。
• 克服现有模型压缩技术将权重独立处理、忽略结构相关性的局限。
• 开发一种统一的训练策略，从训练初期就强制实施参数共享，而非在训练后应用压缩。
• 实现小尺寸、高性能的一维和二维卷积网络的高效学习，适用于音频和视觉任务。
• 展示基于积分图像的计算加速技术在采样滤波器架构中对训练和推理的双重加速效果。

提出的方法

• WSNet 使用一组显著小于标准滤波器的压缩滤波器来参数化卷积层。
• 网络中的每个实际滤波器均通过空间和通道维度的采样从压缩滤波器中生成，从训练初期即强制实施参数共享。
• 该方法使用重叠采样滤波器以利用冗余性，并通过基于积分图像的加速技术实现高效计算。
• 积分图像方法通过高效计算重叠滤波器响应，最小化冗余运算，从而降低计算成本。
• 在权重采样基础上结合权重量化，进一步压缩模型尺寸，同时保持精度损失可忽略。
• 该架构通过相同的采样与积分图像原理扩展至二维CNN，证明其在1D任务之外的通用性。

实验结果

研究问题

• RQ1 能否从零开始设计一种深度学习架构，在训练过程中强制实施参数共享，而非在训练后应用？
• RQ2 与剪枝、量化或分解等现有方法相比，从紧凑滤波器集进行权重采样是否能实现更优的模型压缩与加速效果？
• RQ3 使用重叠采样滤波器是否能在紧凑网络中同时实现高效率与强学习能力？
• RQ4 积分图像方法是否能有效加速此类采样滤波器架构中的训练与推理？
• RQ5 在音频与视觉基准测试中，WSNet 在精度、模型尺寸和推理速度方面与当前最先进模型相比表现如何？

主要发现

• 在 ESC-50 数据集上，WSNet 实现了 66.5% 的准确率，模型参数量仅为 0.52M，相比基线模型缩小了 100 倍。
• 在额外应用权重量化后，WSNet 将模型尺寸进一步压缩至 0.07M（相比基线缩小 180 倍），同时保持 65.8% 的准确率。
• 在 UrbanSound8K 和 DCASE 数据集上，WSNet 实现了与基线相当或更高的准确率，同时将模型尺寸缩小至最多 100 倍。
• 在 CIFAR-10 和 MNIST 上，WSNet 在相同压缩比下错误率低于 HashNet，证明其在同等压缩条件下的优越性能。
• 当应用于 ResNet50 时，WSNet 将模型尺寸缩小 9 倍（从 0.85M 降至 0.094M），仅导致 top-1 准确率下降 0.5%。
• 基于积分图像的计算方法通过减少重叠滤波器运算中的冗余计算，使推理速度最高提升 16 倍。