[论文解读] Shift: A Zero FLOP, Zero Parameter Alternative to Spatial Convolutions

BoRui Wu, Alvin Wan+7 more|arXiv (Cornell University)|Nov 22, 2017

Advanced Neural Network Applications参考文献 25被引用 41

一句话总结

本文提出了一种位移操作——一种零FLOP、零参数的空间卷积替代方法，通过在通道间对特征图进行空间位移实现。通过将位移操作与逐点卷积结合成可学习模块，作者在显著减少参数量的同时实现了具有竞争力的准确率，在CIFAR-10/100和ImageNet上均优于ResNet，且模型大小最多减少60%。

ABSTRACT

Neural networks rely on convolutions to aggregate spatial information. However, spatial convolutions are expensive in terms of model size and computation, both of which grow quadratically with respect to kernel size. In this paper, we present a parameter-free, FLOP-free "shift" operation as an alternative to spatial convolutions. We fuse shifts and point-wise convolutions to construct end-to-end trainable shift-based modules, with a hyperparameter characterizing the tradeoff between accuracy and efficiency. To demonstrate the operation's efficacy, we replace ResNet's 3x3 convolutions with shift-based modules for improved CIFAR10 and CIFAR100 accuracy using 60% fewer parameters; we additionally demonstrate the operation's resilience to parameter reduction on ImageNet, outperforming ResNet family members. We finally show the shift operation's applicability across domains, achieving strong performance with fewer parameters on classification, face verification and style transfer.

研究动机与目标

• 解决深度神经网络中空间卷积带来的高计算与参数开销问题，尤其针对移动设备和边缘设备。
• 在不牺牲准确率的前提下减少模型大小和FLOPs，特别适用于资源受限的应用场景。
• 提出一种无参数、无FLOP的操作，以替代空间卷积，同时保持或提升性能。
• 在多种视觉任务中（包括图像分类、人脸验证和风格迁移）验证位移操作的有效性。
• 引入一个新的超参数——扩展系数（ℰ），用于在模型设计中平衡准确率与效率。

提出的方法

• 提出位移操作：对每个通道在不同方向（如上下左右）上对特征图进行空间位移，该操作不消耗FLOPs且无可学习参数。
• 通过将位移操作与1×1（逐点）卷积交错排列，构建基于位移的模块，以实现通道间的特征混合。
• 设计一种可学习的网络结构——ShiftNet，通过用基于位移的模块替换ResNet中的3×3卷积，实现端到端训练。
• 引入一个超参数——扩展系数（ℰ），用于控制每组位移操作的通道数量，从而在模型大小、FLOPs与准确率之间实现可调和的权衡。
• 由于位移操作具有内存访问友好、计算强度低的特性，可在现代硬件上高效实现。
• 通过通道贡献度分析与通道相关性测量，评估并指导位移组内通道的分配策略。

实验结果

研究问题

• RQ1 一种无参数、无FLOP的空位移操作是否能有效替代深度神经网络中的标准空间卷积？
• RQ2 在效率、准确率与硬件可用性方面，位移操作与深度可分离卷积及可分离卷积相比表现如何？
• RQ3 基于位移的模块在保持或提升图像分类等视觉任务准确率的前提下，能在多大程度上减少模型大小与FLOPs？
• RQ4 扩展系数（ℰ）的选择如何影响模型效率与性能之间的权衡？
• RQ5 基于位移的模块是否能在多种视觉任务中实现良好泛化，包括人脸验证与神经风格迁移？

主要发现

• 与ResNet相比，基于位移的模块在CIFAR-10和CIFAR-100上将模型参数量最多减少了60%，同时准确率得到提升。
• 在ImageNet上，基于位移的模型在相同参数量与FLOP约束下优于ResNet变体，表现出对参数剪枝的强鲁棒性。
• ShiftNet仅用400万个参数即实现了与标准ResNet相当的图像分类性能。
• 在人脸验证与风格迁移任务中，基于位移的模型以远少于基线模型的参数量取得了优异结果。
• 通道贡献度分析表明，水平与垂直位移对输出贡献最大，提示空间特征聚合中存在各向异性的重要性。
• 位移组内的相关性分析揭示了冗余的通道对，表明可通过更智能的通道分配策略进一步提升效率。