[论文解读] SpecNet: Spectral Domain Convolutional Neural Network

Bochen Guan, Jinnian Zhang+3 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 41被引用 8

一句话总结

SpecNet 是一种内存高效的卷积神经网络架构，通过基于快速傅里叶变换（FFT）的运算和可配置阈值实现的稀疏性，在频域中执行卷积和激活操作，将特征图的内存使用量最多减少 60%，且在 CIFAR-10、SVHN 和 ImageNet 基准测试中精度损失可忽略不计。

ABSTRACT

The memory consumption of most Convolutional Neural Network (CNN) architectures grows rapidly with increasing depth of the network, which is a major constraint for efficient network training on modern GPUs with limited memory, embedded systems, and mobile devices. Several studies show that the feature maps (as generated after the convolutional layers) are the main bottleneck in this memory problem. Often, these feature maps mimic natural photographs in the sense that their energy is concentrated in the spectral domain. Although embedding CNN architectures in the spectral domain is widely exploited to accelerate the training process, we demonstrate that it is also possible to use the spectral domain to reduce the memory footprint, a method we call Spectral Domain Convolutional Neural Network (SpecNet) that performs both the convolution and the activation operations in the spectral domain. The performance of SpecNet is evaluated on three competitive object recognition benchmark tasks (CIFAR-10, SVHN, and ImageNet), and compared with several state-of-the-art implementations. Overall, SpecNet is able to reduce memory consumption by about 60% without significant loss of performance for all tested networks.

研究动机与目标

• 解决深度卷积神经网络在训练过程中因大尺寸中间特征图而产生的内存瓶颈问题。
• 在不损害模型性能的前提下减少卷积神经网络的内存消耗，尤其适用于移动和嵌入式系统。
• 利用频域的能量集中特性，实现特征图的稀疏、内存高效存储。
• 设计一种新型卷积神经网络模块，在频域中同时执行卷积和激活操作，同时保持反向传播的梯度流动。
• 证明频域处理相比标准空域卷积神经网络可实现显著的内存节省。

提出的方法

• 使用快速傅里叶变换（FFT）将输入特征图和卷积核转换到频域。
• 通过变换后输入与核的逐元素相乘实现频域卷积，降低计算复杂度。
• 应用可配置的阈值 β 将小幅值的频域系数置零，实现特征图的稀疏存储。
• 设计一种频域激活函数，保持稀疏性和对称性，同时支持反向传播。
• 将频域卷积模块无缝集成到标准卷积神经网络架构（如 AlexNet、VGG、DenseNet）中，不改变网络整体结构。
• 用等效的频域模块替换频域模型中的批量归一化层，以维持训练稳定性。

实验结果

研究问题

• RQ1 能否通过利用特征图中的能量集中特性，在频域中处理来减少卷积神经网络的内存消耗？
• RQ2 与标准空域卷积神经网络相比，频域卷积神经网络在精度和内存效率方面的表现如何？
• RQ3 频域中的稀疏性在多大程度上可减少特征图的存储需求而不降低模型精度？
• RQ4 能否在不显著改变网络架构的前提下，将频域卷积集成到现有卷积神经网络架构中？
• RQ5 当频域阈值 β 变化时，内存减少与精度之间的权衡关系如何？

主要发现

• 在 CIFAR-10、SVHN 和 ImageNet 基准测试中，SpecNet 将峰值内存消耗最多减少 63%，平均内存使用量减少 60%。
• 在 ImageNet 上，Spec-DenseNet169 的内存消耗为 40.8%，Spec-VGG16 为 46.7%，而原始模型为 100%。
• Spec-DenseNet169 的 Top-1 准确率仅下降 2.1%（74.6% vs. 76.2%），Spec-VGG16 的 Top-1 准确率也仅下降 2.1%（69.2% vs. 71.3%），而 Top-5 准确率几乎保持不变。
• 与 INPLACE-ABN、LQ-Net 和 HarDNet 等其他内存高效方法相比，SpecNet 在深层网络中展现出更优的内存减少效果。
• 该方法与现有技术（如量化和剪枝）正交，结合使用可进一步降低内存占用。
• 频域方法在某些情况下因优化的 FFT 操作而带来计算效率提升，但主要优势仍为内存减少。