[论文解读] Very Efficient Training of Convolutional Neural Networks using Fast Fourier Transform and Overlap-and-Add

Tyler Highlander, Andrés Rodríguez|arXiv (Cornell University)|Jan 25, 2016

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种新颖的方法，通过结合快速傅里叶变换（FFT）与重叠-相加（OaA）技术，加速卷积神经网络（CNN）的训练过程，将每核的计算复杂度从 O(N²n²) 降低至 O(N² log₂n)。该方法在前向传播和反向传播中相比传统卷积最高可实现 16.3× 的加速，尤其在输入大小 N 远大于卷积核大小 n 时效果显著。

ABSTRACT

Convolutional neural networks (CNNs) are currently state-of-the-art for various classification tasks, but are computationally expensive. Propagating through the convolutional layers is very slow, as each kernel in each layer must sequentially calculate many dot products for a single forward and backward propagation which equates to $\\mathcal{O}(N^{2}n^{2})$ per kernel per layer where the inputs are $N \ imes N$ arrays and the kernels are $n \ imes n$ arrays. Convolution can be efficiently performed as a Hadamard product in the frequency domain. The bottleneck is the transformation which has a cost of $\\mathcal{O}(N^{2}\\log_2 N)$ using the fast Fourier transform (FFT). However, the increase in efficiency is less significant when $N\\gg n$ as is the case in CNNs. We mitigate this by using the "overlap-and-add" technique reducing the computational complexity to $\\mathcal{O}(N^2\\log_2 n)$ per kernel. This method increases the algorithm's efficiency in both the forward and backward propagation, reducing the training and testing time for CNNs. Our empirical results show our method reduces computational time by a factor of up to 16.3 times the traditional convolution implementation for a 8 $\ imes$ 8 kernel and a 224 $\ imes$ 224 image.

研究动机与目标

• 为减少深度 CNN 训练中的计算瓶颈，该瓶颈主要由空间域中缓慢的卷积操作引起。
• 通过最小化傅里叶变换的开销，提升频域卷积的效率，特别是在输入大小 N ≫ 卷积核大小 n 的情况下。
• 开发一种在大幅降低训练和推理时间的同时保持模型精度的优化 FFT 基卷积方法。
• 证明重叠-相加技术在大输入、小卷积核的 CNN 架构中，相比标准 FFT 基或空间域卷积，能够实现更快的卷积速度。

提出的方法

• 将输入特征图划分为与卷积核大小匹配的 n×n 大小的非重叠块，以支持局部 FFT 计算。
• 对每个块使用 FFT 进行卷积：将块和卷积核变换到频域，执行逐元素（Hadamard）乘法，再通过逆 FFT 变换回空间域。
• 将得到的卷积结果进行重叠与相加，以重建完整输出，从而在降低变换开销的同时模拟标准卷积。
• 该技术将每核复杂度从标准 FFT 卷积中的 O(N² log₂N) 降低至 O(N² log₂n)，利用块大小数据上的小规模 FFT 实现。
• 该方法被应用于前向传播和反向传播，包括误差反向传播和权重梯度计算。
• 该方法在 CPU 上以单线程执行实现，以确保公平比较，但其设计支持使用 cuFFT 等库在 GPU 上进行加速。

实验结果

研究问题

• RQ1 重叠-相加技术是否能够将 CNN 卷积的计算复杂度降低至低于标准 FFT 基方法？
• RQ2 所提出的 OaA-FFT 方法是否在典型 CNN 架构的前向和反向传播中均实现显著加速？
• RQ3 OaA-FFT 在不同输入和卷积核大小下的性能与传统空间卷积及标准 FFT 卷积相比如何？
• RQ4 输入大小和卷积核大小对 OaA-FFT 方法相对性能增益的影响是什么？
• RQ5 在考虑变换开销和并行化潜力的情况下，OaA-FFT 方法在实际中是否具有良好的可扩展性？

主要发现

• OaA-FFT 方法将每核的计算复杂度从标准 FFT 卷积中的 O(N² log₂N) 降低至 O(N² log₂n)，理论加速因子为 log₂N / log₂n。
• 实验结果表明，对于 224×224 输入和 8×8 卷积核，该方法相比传统空间卷积最高可实现 16.3× 加速，且在不同网络深度下均保持一致的性能增益。
• 该方法在前向和反向传播中均优于标准 FFT 卷积，反向传播的相对改进更大，因为每核涉及两次卷积操作。
• 随着卷积核数量的增加，加速效果提升，因为 FFT 的固定开销被更多操作分摊。
• 性能在卷积核大小为 2 的幂时达到峰值，与 FFT 的最优性能一致，表明将输入零填充至最近的 2 的幂可进一步提升效率。
• 当输入大小超过 8×8 时，OaA-FFT 始终优于空间卷积和标准 FFT 卷积，尤其在 N ≫ n 时优势显著。