[论文解读] Stable Tensor Neural Networks for Rapid Deep Learning

Elizabeth Newman, Lior Horesh+2 more|arXiv (Cornell University)|Nov 15, 2018

Tensor decomposition and applications参考文献 25被引用 20

一句话总结

本文提出了一种稳定的张量神经网络（t-NN），利用t-积代数来更高效地处理多维数据，相较于传统的基于矩阵的深度学习方法具有更高的效率。通过用张量运算替代标准的矩阵运算，该框架实现了更紧凑、更强大的参数化，从而在MNIST和CIFAR-10基准测试中实现了更快的学习速度和更优的泛化能力。

ABSTRACT

We propose a tensor neural network ($t$-NN) framework that offers an exciting new paradigm for designing neural networks with multidimensional (tensor) data. Our network architecture is based on the $t$-product (Kilmer and Martin, 2011), an algebraic formulation to multiply tensors via circulant convolution. In this $t$-product algebra, we interpret tensors as $t$-linear operators analogous to matrices as linear operators, and hence our framework inherits mimetic matrix properties. To exemplify the elegant, matrix-mimetic algebraic structure of our $t$-NNs, we expand on recent work (Haber and Ruthotto, 2017) which interprets deep neural networks as discretizations of non-linear differential equations and introduces stable neural networks which promote superior generalization. Motivated by this dynamic framework, we introduce a stable $t$-NN which facilitates more rapid learning because of its reduced, more powerful parameterization. Through our high-dimensional design, we create a more compact parameter space and extract multidimensional correlations otherwise latent in traditional algorithms. We further generalize our $t$-NN framework to a family of tensor-tensor products (Kernfeld, Kilmer, and Aeron, 2015) which still induce a matrix-mimetic algebraic structure. Through numerical experiments on the MNIST and CIFAR-10 datasets, we demonstrate the more powerful parameterizations and improved generalizability of stable $t$-NNs.

研究动机与目标

• 解决具有数百万参数的深度神经网络带来的高存储与计算成本问题。
• 通过用张量替代矩阵，减少全连接层中的参数低效性。
• 开发一种基于张量的神经网络框架，继承矩阵运算的代数特性，实现稳定且高效的训练。
• 通过受微分方程解释启发的稳定前向传播机制，提升模型泛化能力。
• 在标准图像分类基准上验证基于张量的参数化方法的有效性。

提出的方法

• 利用t-积代数定义张量运算，使其模仿矩阵运算，从而实现基于张量的线性变换。
• 将标准全连接层 $ A_{j+1} = \sigma(W_j \cdot A_j + \vec{b}_j) $ 替换为 $ \mathcal{A}_{j+1} = \sigma(\mathcal{W}_j * \mathcal{A}_j + \vec{\mathcal{B}}_j) $，其中 $*$ 表示t-积。
• 基于深度网络作为非线性微分方程的离散化动态解释，提出一种稳定的t-NN框架。
• 将框架推广为一类保持矩阵类比代数结构的张量-张量积。
• 通过傅里叶域中的微分（利用DFT矩阵）推导出用于管状Softmax损失函数的反向传播。
• 在MNIST和CIFAR-10数据集上应用t-NN架构，评估其在图像分类任务中的性能与参数效率。

实验结果

研究问题

• RQ1 基于张量的参数化是否能在保持或提升性能的同时减少深度神经网络中的参数数量？
• RQ2 t-积代数如何在多维张量网络中实现类矩阵运算？
• RQ3 与标准的基于矩阵的网络相比，稳定的t-NN框架是否能提升泛化能力与训练速度？
• RQ4 张量-张量积在多大程度上可推广t-积框架，同时保持计算效率？
• RQ5 与传统方法相比，基于张量的方法在更有效地提取图像数据中的潜在多维相关性方面表现如何？

主要发现

• 由于更紧凑且更强大的参数化，稳定t-NN框架实现了比标准基于矩阵的网络更快的学习速度。
• t-NN架构通过利用图像和视频等张量数据中固有的多维相关性，显著减少了参数数量。
• 在MNIST和CIFAR-10上的数值实验表明，t-NN的泛化能力优于同类基于矩阵的模型，显示出更强的鲁棒性。
• 基于t-积的张量代数保留了关键的类矩阵性质，使得基于矩阵的深度学习技术可无缝迁移至张量空间。
• 通过傅里叶域微分推导出的管状Softmax损失反向传播，证实了t-积代数的类矩阵特性。
• 该框架可推广至一类保持相同代数结构与计算优势的张量-张量积。