[论文解读] Ultimate tensorization: compressing convolutional and FC layers alike

Timur Garipov, Dmitry Podoprikhin+2 more|arXiv (Cornell University)|Nov 10, 2016

Tensor decomposition and applications参考文献 19被引用 102

一句话总结

该论文通过将核张量重塑为更高阶的张量，将 Tensor Train 张量化扩展到卷积层，实现大幅网络压缩（高达80x），仅有极小的准确率损失，并与之前的全连接层压缩相结合。

ABSTRACT

Convolutional neural networks excel in image recognition tasks, but this comes at the cost of high computational and memory complexity. To tackle this problem, [1] developed a tensor factorization framework to compress fully-connected layers. In this paper, we focus on compressing convolutional layers. We show that while the direct application of the tensor framework [1] to the 4-dimensional kernel of convolution does compress the layer, we can do better. We reshape the convolutional kernel into a tensor of higher order and factorize it. We combine the proposed approach with the previous work to compress both convolutional and fully-connected layers of a network and achieve 80x network compression rate with 1.1% accuracy drop on the CIFAR-10 dataset.

研究动机与目标

• 动机：在不造成较大准确度损失的情况下减少CNN的存储与计算。
• 将张量因式分解扩展至卷积核，超越对4D TT-应用的天真方式。
• 展示更高阶张量重塑能够提升压缩效果。
• 展示卷积层和全连接层的联合压缩。
• 提供实用的训练方法和在 CIFAR-10 上可重复的结果。

提出的方法

• 通过将4D卷积核重塑为更高阶的张量，将卷积核表示为TT格式。
• 对重塑后的卷积核应用矩阵TT格式，以匹配全连接层张量化的好处。
• 使用自动微分结合SGD和动量训练TT核。
• 将TT-conv与对4D卷积核直接应用的天真TT分解进行比较。
• 将 TT-conv 与先前工作中的 TT-fc 相结合，以压缩整个网络。
• 在CIFAR-10上跨体系结构报告压缩与准确性权衡。

实验结果

研究问题

• RQ1 TT-分解直接应用于卷积核是否会被通过将其重塑为更高阶张量以实现TT-卷积而超越？
• RQ2 在同时压缩卷积层和全连接层时，可达到的压缩率和准确性权衡是什么？
• RQ3 在CIFAR-10设置中，TT-conv 与对4D卷积核的天真TT应用相比有何不同？
• RQ4 在卷积占优的网络上，是否可在保持较小准确率损失的前提下实现显著的网络压缩（如80x）？
• RQ5 将卷积和FC的压缩结合在一起对整体性能与存储有何影响？

主要发现

• 直接对4D卷积核应用TT效果不佳；将其重塑为更高阶张量可获得更好的压缩。
• 单独使用TT-conv对卷积网络实现的压缩可达到约4x，CIFAR-10 上的准确率损失适中。
• 将 TT-conv 与先前工作中的 TT-fc 结合可实现最高约82x的网络压缩，准确率下降约1%。
• 对以卷积为主的网络，使用 TT-conv 可实现约4x 的压缩，准确率损失约2%（取决于 TT-ranks）。
• 将TT-fc与TT-conv结合压缩的卷积-全连接网络可实现显著收益，例如总压缩达到80x，准确率损失约1%。
• 该方法在 CIFAR-10 上得到验证，给出可重复的设置和两种基线架构。