[论文解读] Tensorized Spectrum Preserving Compression for Neural Networks.

Jiahao Su, Jingling Li+2 more|arXiv (Cornell University)|May 25, 2018

Tensor decomposition and applications被引用 7

一句话总结

本文提出了一种张量化的谱保持压缩方法，通过高阶张量分解来维持模型的不变性与泛化能力。通过将新型张量分解与基于数据重建的学习方法相结合，该方法在最先进网络的卷积层和全连接层上均实现了优于现有方法的压缩性能。

ABSTRACT

Modern neural networks can have tens of millions of parameters, and are often ill-suited for smartphones or IoT devices. In this paper, we describe an efficient mechanism for compressing large networks by {\em tensorizing\/} network layers: i.e. mapping layers on to high-order matrices, for which we introduce new tensor decomposition methods. Compared to previous compression methods, some of which use tensor decomposition, our techniques preserve more of the networks invariance structure. Coupled with a new data reconstruction-based learning method, we show that tensorized compression outperforms existing techniques for both convolutional and fully-connected layers on state-of-the art networks.

研究动机与目标

• 为解决在智能手机和物联网系统等资源受限设备上部署大型神经网络的挑战。
• 在压缩过程中保持神经网络的不变性结构，该结构在以往的张量分解方法中常被破坏。
• 开发一种新的压缩框架，在实现显著参数减少的同时保持高模型精度。
• 通过统一的张量化方法，将高效的压缩扩展至卷积层和全连接层。

提出的方法

• 将神经网络层映射到高阶张量，通过张量分解实现结构化的参数压缩。
• 提出专为保持深度网络中谱特性与不变性而设计的新张量分解方法。
• 采用基于数据重建的学习策略，微调压缩后的模型以保持预测性能。
• 采用统一的张量化方法，将该压缩框架应用于卷积层和全连接层。
• 优化分解过程，在最小化信息损失的同时最大化压缩效率。

实验结果

研究问题

• RQ1 张量分解能否在保持模型不变性与谱结构的前提下用于神经网络压缩？
• RQ2 在卷积层和全连接层上，张量化压缩方法与现有方法相比，在精度和参数减少方面表现如何？
• RQ3 基于数据重建的学习策略在压缩模型中能多大程度上提升性能？
• RQ4 所提出的方法能否在多种最先进网络架构上实现有效的压缩？

主要发现

• 所提出的张量化压缩方法在压缩卷积层和全连接层时，均优于现有技术，能更好地保持模型精度。
• 该方法保持了原始网络的不变性结构，有助于提升泛化能力与鲁棒性。
• 通过利用高阶张量分解，该方法在几乎不损失精度的前提下实现了显著的参数压缩。
• 基于数据重建的学习方法能有效微调压缩后的模型，提升其在下游任务中的性能。