[论文解读] Wide Compression: Tensor Ring Nets

Wenqi Wang, Yifan Sun+3 more|arXiv (Cornell University)|Feb 25, 2018

Tensor decomposition and applications参考文献 47被引用 27

一句话总结

本文提出张量环网络（TR-Nets），一种利用张量环分解的新型深度神经网络压缩方法，可在极小精度损失下显著减小模型尺寸。在LeNet-5上实现11倍压缩，在Wide ResNet上实现243倍压缩，CIFAR-10上仅损失2.3%精度，适用于资源受限设备的高效部署。

ABSTRACT

Deep neural networks have demonstrated state-of-the-art performance in a variety of real-world applications. In order to obtain performance gains, these networks have grown larger and deeper, containing millions or even billions of parameters and over a thousand layers. The trade-off is that these large architectures require an enormous amount of memory, storage, and computation, thus limiting their usability. Inspired by the recent tensor ring factorization, we introduce Tensor Ring Networks (TR-Nets), which significantly compress both the fully connected layers and the convolutional layers of deep neural networks. Our results show that our TR-Nets approach {is able to compress LeNet-5 by $11 imes$ without losing accuracy}, and can compress the state-of-the-art Wide ResNet by $243 imes$ with only 2.3\% degradation in {Cifar10 image classification}. Overall, this compression scheme shows promise in scientific computing and deep learning, especially for emerging resource-constrained devices such as smartphones, wearables, and IoT devices.

研究动机与目标

• 解决在智能手机和物联网设备等内存与计算资源受限设备上部署大型深度神经网络的挑战。
• 克服以往压缩方法主要针对全连接层的局限，将压缩扩展至主导现代架构的卷积层。
• 开发一种压缩框架，在大幅减少参数量的同时保持模型性能，尤其适用于Wide ResNet等高参数量模型。
• 通过结构化张量分解最小化存储、内存和计算开销，实现在边缘设备上的高效推理。
• 展示张量环分解作为张量列车和CP分解的推广形式，在神经网络压缩中的有效性。

提出的方法

• 对全连接层和卷积层中的权重张量应用张量环（TR）分解，将其表示为低秩张量的环状结构乘积。
• 对于全连接层，将权重矩阵重塑为高阶张量，并应用TR分解以减少参数量。
• 对于卷积层，仅压缩输入和输出通道维度，同时保持空间维度（如3×3或5×5滤波器）不变，以维持空间不变性。
• 采用环状结构，使首尾两个因子矩阵沿外边缘相乘，从而推广CP分解和张量列车分解。
• 优化张量重塑与收缩的顺序，以最小化推理过程中的计算开销。
• 在基准数据集上使用标准优化技术（带动量的SGD）和学习率衰减，端到端训练压缩后的网络。

实验结果

研究问题

• RQ1 张量环分解是否能在不造成显著性能下降的情况下，有效压缩深度神经网络中的全连接层和卷积层？
• RQ2 在标准图像分类基准上，TR-Nets的压缩性能与Tucker分解和张量列车（TT）分解等现有方法相比如何？
• RQ3 TR-Nets在保持CIFAR-10和CIFAR-100上具有竞争力的精度前提下，对Wide ResNet等先进模型的压缩能力如何？
• RQ4 与其它低秩分解方法相比，TR-Nets方法是否能减小训练过程中的泛化差距？
• RQ5 在边缘设备部署中，TR-Nets的压缩率、模型精度和计算开销之间存在何种权衡？

主要发现

• TR-Nets在LeNet-5上实现11倍压缩，精度无损失，MNIST测试精度保持在99.31%。
• LeNet-300-100实现13倍压缩，精度仅下降0.14%，达到97.36%的准确率。
• 在28层Wide ResNet上，TR-Nets实现243倍压缩，CIFAR-10上仅损失2.3%精度，达到92.7%准确率。
• 在相同压缩率下，TR-Nets的泛化差距小于Tucker分解，表明其在训练过程中具有更好的泛化能力。
• 在r=10时，TR-Nets在CIFAR-100上的最终测试误差和泛化差距均优于Tucker分解，表现出更优的训练稳定性。
• 在r=2时，TR-Nets在Wide ResNet上实现1217倍压缩，但代价是更高的误差（CIFAR-100上为16.3%），显示出压缩与精度之间的权衡。