[论文解读] Tensorial Neural Networks: Generalization of Neural Networks and Application to Model Compression

Jiahao Su, Jingling Li+2 more|arXiv (Cornell University)|May 25, 2018

Tensor decomposition and applications参考文献 33被引用 19

一句话总结

本文提出了张量神经网络（TNNs），这是一种将神经网络推广至高阶张量运算的通用化方法，可在不展平输入数据的前提下保留多维输入结构。通过将参数学习建模为分层非线性张量分解，并在广义张量代数中推导出新型反向传播规则，TNNs 实现了卓越的模型压缩效果——在相同压缩率下，CIFAR-10 上比当前最先进低秩方法高出5%的准确率，且收敛速度高出数个数量级。

ABSTRACT

We propose tensorial neural networks (TNNs), a generalization of existing neural networks by extending tensor operations on low order operands to those on high order ones. The problem of parameter learning is challenging, as it corresponds to hierarchical nonlinear tensor decomposition. We propose to solve the learning problem using stochastic gradient descent by deriving nontrivial backpropagation rules in generalized tensor algebra we introduce. Our proposed TNNs has three advantages over existing neural networks: (1) TNNs naturally apply to high order input object and thus preserve the multi-dimensional structure in the input, as there is no need to flatten the data. (2) TNNs interpret designs of existing neural network architectures. (3) Mapping a neural network to TNNs with the same expressive power results in a TNN of fewer parameters. TNN based compression of neural network improves existing low-rank approximation based compression methods as TNNs exploit two other types of invariant structures, periodicity and modulation, in addition to the low rankness. Experiments on LeNet-5 (MNIST), ResNet-32 (CIFAR10) and ResNet-50 (ImageNet) demonstrate that our TNN based compression outperforms (5% test accuracy improvement universally on CIFAR10) the state-of-the-art low-rank approximation based compression methods under the same compression rate, besides achieving orders of magnitude faster convergence rates due to the efficiency of TNNs.

研究动机与目标

• 通过将操作扩展至高阶张量，推广传统神经网络，实现对多维输入数据的原生处理，无需展平。
• 通过分层非线性张量分解，解决高阶张量网络中参数学习的挑战。
• 在广义张量代数中开发新型反向传播框架，以支持TNN的端到端训练。
• 利用多种不变结构——低秩性、周期性与调制性——实现比现有低秩方法更高效的模型压缩。
• 证明在相同压缩率下，基于TNN的压缩方法在准确率和收敛速度上均优于当前最先进的压缩技术。

提出的方法

• 提出一种基于高阶操作数张量运算的神经网络通用化方法，实现对多维输入数据的直接操作。
• 将参数学习问题建模为分层非线性张量分解，以捕捉高阶数据中的复杂交互关系。
• 在新引入的广义张量代数中推导出非平凡的反向传播规则，以支持基于梯度的优化。
• 将低秩性、周期性和调制性三种不变结构整合进TNN框架，以提升压缩效率。
• 将基于TNN的压缩方法应用于标准架构（LeNet-5、ResNet-32、ResNet-50），将现有网络映射为TNN，保持等效表达能力但参数更少。
• 使用带所推导反向传播规则的随机梯度下降法高效训练TNN，利用结构不变性实现更快收敛。

实验结果

研究问题

• RQ1 神经网络能否在不展平输入的前提下，原生地在高阶张量输入上运行，从而保留多维数据结构？
• RQ2 在分层非线性张量分解复杂性较高的前提下，如何建模并求解高阶张量网络中的参数学习问题？
• RQ3 为实现在广义张量代数中的端到端训练，需要哪些新型反向传播规则？
• RQ4 TNN在多大程度上能利用低秩性、周期性和调制性这三种不变结构，实现超越低秩方法的模型压缩？
• RQ5 在相同压缩率下，基于TNN的压缩方法是否在准确率和收敛速度上均优于当前最先进的低秩近似方法？

主要发现

• TNN通过直接在高阶张量上操作，保留了输入数据的多维结构，消除了数据展平的需要。
• 所提出的TNN框架在相同压缩率下，于CIFAR-10上比当前最先进的低秩压缩方法高出5%的测试准确率。
• 基于TNN的压缩方法利用了低秩性、周期性和调制性三种不变结构，实现了比仅使用低秩方法更有效的参数压缩。
• 由于张量参数化方法的高效性，TNN的收敛速度比标准压缩网络快数个数量级。
• 将标准神经网络（如ResNet-32、ResNet-50）映射为TNN后，可在保持等效表达能力的前提下显著减少参数量。
• 在LeNet-5（MNIST）、ResNet-32（CIFAR-10）和ResNet-50（ImageNet）上的实验表明，TNN在各类基准测试中均表现出一致的性能提升与效率优化。