[论文解读] Tensor Decompositions in Deep Learning

Davide Bacciu, Danilo P. Mandic|arXiv (Cornell University)|Feb 26, 2020

Tensor decomposition and applications参考文献 35被引用 5

一句话总结

本文综述了深度学习中的张量分解，重点关注三个关键应用：通过张量化压缩神经网络参数、通过高阶表示结构化数据（如树、图）提升模型表达能力，以及实现高效的多路数据分析。文章强调CP、Tucker和张量-训练分解是降低模型复杂度同时保持表征能力的核心技术。

ABSTRACT

The paper surveys the topic of tensor decompositions in modern machine learning applications. It focuses on three active research topics of significant relevance for the community. After a brief review of consolidated works on multi-way data analysis, we consider the use of tensor decompositions in compressing the parameter space of deep learning models. Lastly, we discuss how tensor methods can be leveraged to yield richer adaptive representations of complex data, including structured information. The paper concludes with a discussion on interesting open research challenges.

研究动机与目标

• 综述张量分解在现代深度学习中的作用，重点关注三个新兴研究方向。
• 通过基于张量的参数压缩，解决深度神经网络中高维数据复杂性问题。
• 利用基于张量分解的神经架构，为结构化数据（如树和图）提供更丰富、更具表达力的表示。
• 识别将张量方法整合到深度模型前向与反向学习动态中的开放研究挑战。
• 通过改进软件工具和框架集成，促进张量方法在深度学习中的应用。

提出的方法

• 采用典型多面体（CP）分解将张量表示为秩-1分量的和，实现高阶数据的低秩近似。
• 采用Tucker分解将张量分解为核心张量与各阶上因子矩阵的乘积，支持分层压缩与特征提取。
• 应用张量-训练（TT）分解，通过一系列低阶张量表示高阶张量，显著减少深度网络中的参数数量。
• 引入张量化神经层，将权重矩阵重构为张量并利用CP或TT分解，降低模型规模同时保持性能。
• 提出张量递归神经元，利用CP或Tucker分解作为聚合函数，处理解析树和图等结构化输入。
• 将张量分解方法集成到前向与反向传播中，探索其对梯度解释与优化动态的影响。

实验结果

研究问题

• RQ1 张量分解能否在不损失模型准确率的前提下，有效压缩深度神经网络参数？
• RQ2 张量方法在处理树、图等结构化数据时，如何增强神经网络的表达能力？
• RQ3 张量分解在反向传播阶段扮演什么角色？能否提升梯度的可解释性？
• RQ4 对拓扑变化的图结构，张量化图神经网络是否能提升其捕捉高阶结构依赖关系的能力？
• RQ5 如何将张量分解技术集成到深度学习框架中，以支持高效、可扩展且可微分的计算？

主要发现

• CP、Tucker和张量-训练等张量分解技术可在保持性能的前提下显著压缩深度学习模型参数，使其适用于高效推理。
• 基于Tucker或TT分解的张量化神经层可减少全连接层与卷积层中的参数数量，实现紧凑而准确的模型。
• 基于CP或Tucker分解的张量递归神经元能有效处理解析树等结构化数据，实现表达力与计算效率的平衡。
• 在反向传播阶段使用张量分解（如梯度的Tucker分解）可增强可解释性，并为学习动态提供洞察。
• 当前深度学习框架缺乏对张量分解的原生支持，但新兴库如TensorLy和HOTTBOX正在实现与PyTorch、TensorFlow和JAX的集成。
• 在具有任意图拓扑的深度图网络（DGNs）中应用张量方法仍存在显著研究空白，而张量化有望提升预测性能与结构表征能力。