[论文解读] Network Sketching: Exploiting Binary Structure in Deep CNNs

Yiwen Guo, Anbang Yao+2 more|arXiv (Cornell University)|Jun 7, 2017

Advanced Neural Network Applications被引用 13

一句话总结

本文提出网络草图（network sketching），一种通过张量展开利用预训练滤波器组中二值结构的新方法，以生成二值权重卷积神经网络（CNN），实现高效且精确的推理。该方法在ImageNet上实现了最先进（SOTA）性能，且内存开销极小，优于BWN和BinaryConnect等现有二值权重模型在AlexNet和ResNet上的表现。

ABSTRACT

Convolutional neural networks (CNNs) with deep architectures have substantially advanced the state-of-the-art in computer vision tasks. However, deep networks are typically resource-intensive and thus difficult to be deployed on mobile devices. Recently, CNNs with binary weights have shown compelling efficiency to the community, whereas the accuracy of such models is usually unsatisfactory in practice. In this paper, we introduce network sketching as a novel technique of pursuing binary-weight CNNs, targeting at more faithful inference and better trade-off for practical applications. Our basic idea is to exploit binary structure directly in pre-trained filter banks and produce binary-weight models via tensor expansion. The whole process can be treated as a coarse-to-fine model approximation, akin to the pencil drawing steps of outlining and shading. To further speedup the generated models, namely the sketches, we also propose an associative implementation of binary tensor convolutions. Experimental results demonstrate that a proper sketch of AlexNet (or ResNet) outperforms the existing binary-weight models by large margins on the ImageNet large scale classification task, while the committed memory for network parameters only exceeds a little.

研究动机与目标

• 为解决现有二值权重CNN尽管效率高但在大规模数据集（如ImageNet）上准确率较差的问题。
• 在不从零开始训练的前提下，实现更忠实、更精确的二值权重模型推理。
• 通过草图中的精度调控，提供一种灵活可控的方法，以在模型效率与准确率之间取得平衡。
• 通过提出二值张量卷积的关联实现方式，降低推理中的计算成本。
• 证明可通过结构化利用，将预训练模型有效转换为高精度、低精度的二值网络。

提出的方法

• 通过张量展开，在预训练滤波器组中直接利用二值结构，以粗到精的近似过程生成二值权重模型。
• 采用两阶段优化协议：先进行直接草图，再通过使用全精度权重更新的随机梯度下降（SGD）进行微调，以提升收敛性。
• 提出一种二值张量卷积的关联实现方式，减少浮点加法与减法（FADDs）数量，提升推理速度。
• 采用类似铅笔素描（先勾勒轮廓，再上色阴影）的粗到精模型近似策略，实现结构化且精确的二值权重分配。
• 通过理论算法调控草图精度，以在准确率与效率之间实现平衡，支持模型保真度与资源使用之间的权衡。
• 将全精度预训练模型（如AlexNet、ResNet）转换为二值权重版本，通过结构与参数优化保持性能。

实验结果

研究问题

• RQ1 在二值权重的约束下，二值权重CNN能否在ImageNet上实现高准确率，且不出现显著准确率下降？
• RQ2 能否通过挖掘滤波器组中固有的二值结构，有效将预训练模型转化为二值权重网络？
• RQ3 如何调控草图的精度，以实现更优的效率与准确率之间的权衡？
• RQ4 二值张量卷积的关联实现能否在推理过程中显著减少FLOPs与FADDs？
• RQ5 网络草图在标准基准测试中，是否在准确率与效率方面均优于现有二值权重CNN方法（如BWN与BinaryConnect）？

主要发现

• 经过优化的AlexNet草图在ImageNet上的top-1准确率为55.2%，top-5准确率为78.8%，优于BWN与BinaryConnect。
• ResNet（18层）的草图实现top-1准确率为67.8%，top-5准确率为88.4%，显著优于BWN的60.8% top-1准确率，且参数量更少。
• 生成的草图仅比基线二值模型多占用极少内存，AlexNet参数量减少约10.1倍，ResNet减少约7.4倍。
• 二值张量卷积的关联实现方式减少了FADDs数量，提升了推理效率，且未损失准确率。
• 通过使用全精度权重更新的随机梯度下降进行微调，相比直接草图，收敛性更好，性能更优。
• 网络草图在大规模数据集上实现了忠实推理，准确率下降极小，展现出在移动端部署的强大潜力。