[论文解读] T-Basis: a Compact Representation for Neural Networks

Anton Obukhov, Maxim Rakhuba+4 more|arXiv (Cornell University)|Jul 13, 2020

Tensor decomposition and applications被引用 14

一句话总结

T-Basis 通过学习一组共享的三维张量基来表示神经网络中的多个层，利用低秩系数参数化，实现了高效率压缩且精度损失极小。该方法在 CIFAR-10 和 Pascal VOC 上实现了 SOTA 压缩比，例如在 WRN-28-10 上达到 0.149×，同时保持了适用于边缘设备部署的性能。

ABSTRACT

We introduce T-Basis, a novel concept for a compact representation of a set of tensors, each of an arbitrary shape, which is often seen in Neural Networks. Each of the tensors in the set is modeled using Tensor Rings, though the concept applies to other Tensor Networks. Owing its name to the T-shape of nodes in diagram notation of Tensor Rings, T-Basis is simply a list of equally shaped three-dimensional tensors, used to represent Tensor Ring nodes. Such representation allows us to parameterize the tensor set with a small number of parameters (coefficients of the T-Basis tensors), scaling logarithmically with each tensor's size in the set and linearly with the dimensionality of T-Basis. We evaluate the proposed approach on the task of neural network compression and demonstrate that it reaches high compression rates at acceptable performance drops. Finally, we analyze memory and operation requirements of the compressed networks and conclude that T-Basis networks are equally well suited for training and inference in resource-constrained environments and usage on the edge devices.

研究动机与目标

• 解决在资源受限的边缘设备上部署大型高性能深度神经网络的挑战。
• 克服现有张量环（TR）方法的局限性，即每层需独立分解，导致参数开销过高。
• 提出一种统一的、低参数量的基表示方法，使其可泛化应用于网络中的多个层。
• 通过最小化内存和计算成本，实现在边缘设备上的高效训练与推理。
• 在多种架构和数据集（包括 ResNets、WideResNets 和 DeepLabV3+）上验证该方法的有效性。

提出的方法

• 提出 T-Basis 作为一组共享的三维张量（基），用于表示神经网络中多个高维权重张量。
• 将每层的权重张量参数化为基张量的线性组合，系数在训练过程中学习得到。
• 使用张量环（TR）分解来表示单个层的权重，同时共享同一组基。
• 引入两个全局超参数：基大小（B）和 TR 秩（R），用于控制模型容量与压缩程度。
• 将该方法应用于卷积层和全连接层，实现参数高效的压缩。
• 通过标准反向传播联合优化基和系数，保持与标准训练流程的兼容性。

实验结果

研究问题

• RQ1 共享张量基能否显著减少表示深层神经网络权重所需的参数数量？
• RQ2 在不同架构下，T-Basis 与现有压缩方法相比，在精度和压缩比方面表现如何？
• RQ3 该基在无需微调的情况下，能在多大程度上跨不同模型和任务进行迁移？
• RQ4 在极端压缩场景下，基大小、TR 秩与模型性能之间的权衡关系如何？
• RQ5 在大规模语义分割任务中，T-Basis 是否能在极高压缩比（例如低于原始参数量的 1%）下保持高性能？

主要发现

• 在 WRN-28-10 上，T-Basis 实现了 0.149× 的压缩比，仅损失 57.64% 的 top-1 准确率，在 CIFAR-10 上优于当前 SOTA 方法。
• 在以 ResNet-34 为骨干的 DeepLabV3+ 上，T-Basis 实现了 4.777× 的压缩比，mIoU 达到 63.07%（±0.08），与 100% 压缩下的基线模型（64.08%）相差不足 1%。
• 即使在极端压缩水平下，T-Basis 仍能保持良好性能，例如在 Pascal VOC 上实现 1.450× 压缩比时，mIoU 达到 58.18%（±0.69）。
• 当 B=32 且 R=8 时，T-Basis 在 WRN-28-10 上实现 0.149× 压缩比，且在精度-压缩比权衡上优于 TRN 及其他近期方法。
• 该基可在不同模型和任务间有效迁移，性能损失极小，表明其具备强大的泛化能力。
• T-Basis 网络的内存和计算需求足够低，可支持在边缘设备上高效训练与推理。