[论文解读] ProdSumNet: reducing model parameters in deep neural networks via product-of-sums matrix decompositions

Chai Wah Wu|arXiv (Cornell University)|Sep 6, 2018

Model Reduction and Neural Networks参考文献 23被引用 15

一句话总结

ProdSumNet 提出了一种新颖的矩阵分解框架，通过将权重矩阵表示为更简单、固定矩阵之和的乘积，来减少深度神经网络的参数量。通过仅训练这些和的标量系数，该方法在大幅减少参数量的同时实现了高准确率——例如，在 MNIST 上仅使用 3,554 个可训练参数即可达到 98.44% 的准确率，相比超过 300 万个参数的标准模型，显著降低了参数量，为不同架构提供了灵活且可训练的参数权衡方案。

ABSTRACT

We consider a general framework for reducing the number of trainable model parameters in deep learning networks by decomposing linear operators as a product of sums of simpler linear operators. Recently proposed deep learning architectures such as CNN, KFC, Dilated CNN, etc. are all subsumed in this framework and we illustrate other types of neural network architectures within this framework. We show that good accuracy on MNIST and Fashion MNIST can be obtained using a relatively small number of trainable parameters. In addition, since implementation of the convolutional layer is resource-heavy, we consider an approach in the transform domain that obviates the need for convolutional layers. One of the advantages of this general framework over prior approaches is that the number of trainable parameters is not fixed and can be varied arbitrarily. In particular, we illustrate the tradeoff of varying the number of trainable variables and the corresponding error rate. As an example, by using this decomposition on a reference CNN architecture for MNIST with over 3x10^6 trainable parameters, we are able to obtain an accuracy of 98.44% using only 3554 trainable parameters.

研究动机与目标

• 在不牺牲分类准确率的前提下，减少深度神经网络中的可训练参数数量。
• 开发一种通用框架，将现有的参数高效架构（如 CNN 和 KFC）统一为乘积-求和分解的特例。
• 通过调整分解中求和项的数量，实现对可训练参数数量的灵活、动态控制。
• 证明在保持图像分类基准（如 MNIST 和 Fashion MNIST）高精度的前提下，可显著降低模型复杂度。
• 探索使用该分解框架，将计算量大的卷积层替换为高效的变换域实现的可行性。

提出的方法

• 将权重矩阵 $ W $ 表示为求和的乘积：$ W = \prod_{j=1}^{p} \sum_{k=1}^{s_j} a_{jk} M_{jk} $，其中 $ a_{jk} $ 为可训练参数，$ M_{jk} $ 为固定矩阵。
• 使用线性激活函数 $ g_{jk}(x) = x $ 简化分解，从而实现对可训练标量系数 $ a_{jk} $ 的可微分训练。
• 将该分解应用于全连接层和卷积层，用参数高效的替代结构替换标准的全连接或卷积层。
• 在变换域（如通过 FFT 或其他变换）中实现该分解，以避免昂贵的卷积运算。
• 采用迭代优化策略：分阶段训练，逐步增加 $ s_j $，并使用低阶结果的最小二乘逼近来初始化高阶参数。
• 为 $ M_{jk} $ 使用低秩或结构化矩阵（如循环矩阵、托普利茨矩阵），以降低存储和计算成本。

实验结果

研究问题

• RQ1 乘积-求和矩阵分解是否能有效减少深度神经网络中的可训练参数数量，同时保持高准确率？
• RQ2 分解中可训练参数的数量如何影响图像分类任务上的最终测试误差和模型性能？
• RQ3 该框架在 CNN 和 KFC 之外的泛化能力如何？是否可应用于任意神经网络层？
• RQ4 是否可以通过使用结构化、固定的矩阵 $ M_{jk} $ 并仅学习标量系数 $ a_{jk} $，在显著减少参数量的同时实现高准确率？
• RQ5 该分解方法在不同数据集（如 MNIST 与 Fashion MNIST）上的性能表现如何？这些数据集在内在复杂度上可能存在差异。

主要发现

• ProdSumNet 在 MNIST 上实现了 98.44% 的测试准确率，仅使用 3,554 个可训练参数，相比标准 CNN 的约 320 万个参数，参数量减少了 99.8% 以上。
• 该方法展示了模型复杂度与准确率之间的灵活权衡，随着可训练参数数量的减少，性能呈渐进式下降。
• Fashion MNIST 需要比 MNIST 更多的参数才能达到相近的准确率，表明其具有更高的内在复杂度和更多的数据自由度。
• 该分解框架成功将已知架构（如 CNN 和 KFC）作为特例统一起来，显示出其广泛的适用性。
• 使用该分解框架将卷积层替换为变换域实现，可降低计算成本，并避免昂贵的卷积运算。
• 为 $ M_{jk} $ 使用结构化矩阵（如循环矩阵、低秩矩阵）可实现高效的存储与计算，使该方法在实际部署中更具可行性。