[论文解读] SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation

Yang Zhao, Xiaohan Chen+7 more|arXiv (Cornell University)|May 7, 2020

Advanced Neural Network Applications参考文献 51被引用 8

一句话总结

SmartExchange 提出了一种算法-硬件协同设计框架，通过将权重表示为一个小型基矩阵与一个稀疏的、幂次为2的系数矩阵的乘积，用低成本计算替代深度神经网络（DNN）推理中的昂贵内存访问。该方法统一了剪枝、分解和量化技术，使能效最高提升6.7倍，延迟最低降低19.2倍，优于多种模型和数据集上的最先进加速器。

ABSTRACT

We present SmartExchange, an algorithm-hardware co-design framework to trade higher-cost memory storage/access for lower-cost computation, for energy-efficient inference of deep neural networks (DNNs). We develop a novel algorithm to enforce a specially favorable DNN weight structure, where each layerwise weight matrix can be stored as the product of a small basis matrix and a large sparse coefficient matrix whose non-zero elements are all power-of-2. To our best knowledge, this algorithm is the first formulation that integrates three mainstream model compression ideas: sparsification or pruning, decomposition, and quantization, into one unified framework. The resulting sparse and readily-quantized DNN thus enjoys greatly reduced energy consumption in data movement as well as weight storage. On top of that, we further design a dedicated accelerator to fully utilize the SmartExchange-enforced weights to improve both energy efficiency and latency performance. Extensive experiments show that 1) on the algorithm level, SmartExchange outperforms state-of-the-art compression techniques, including merely sparsification or pruning, decomposition, and quantization, in various ablation studies based on nine DNN models and four datasets; and 2) on the hardware level, the proposed SmartExchange based accelerator can improve the energy efficiency by up to 6.7$ imes$ and the speedup by up to 19.2$ imes$ over four state-of-the-art DNN accelerators, when benchmarked on seven DNN models (including four standard DNNs, two compact DNN models, and one segmentation model) and three datasets.

研究动机与目标

• 为解决在资源受限的边缘设备上进行DNN推理时数据移动带来的高能耗问题。
• 通过将DNN权重重构为紧凑且计算友好的形式，降低权重存储和DRAM访问能耗。
• 协同设计一种算法与加速器，充分利用结构化稀疏性和幂次为2的量化，以实现最高的能效与延迟效率。
• 将三种主要压缩技术——剪枝、分解和量化——统一为一个协同优化的框架。

提出的方法

• 将每一层的权重矩阵表示为一个小型基矩阵与一个大型稀疏系数矩阵的乘积，其中系数矩阵仅包含幂次为2的非零元素。
• 在系数矩阵中强制实施稀疏性和幂次为2的量化，以支持移位与累加操作，替代乘加运算。
• 设计一种具备重训练感知能力的SmartExchange算法，在实现高压缩率的同时保持模型精度。
• 设计专用加速器，通过优化数据流和处理单元配置，充分利用向量级结构化稀疏性与紧凑权重。
• 实现一种硬件感知的数据流，跳过零权重和零激活路径的计算与内存访问。
• 利用位级和向量级稀疏性，降低推理过程中的能耗与延迟。

实验结果

研究问题

• RQ1 一个结合剪枝、分解和量化技术的统一框架，是否能在压缩效率上超越单一技术？
• RQ2 结构化稀疏性和幂次为2的量化在多大程度上可降低DNN推理中的内存访问能耗与计算成本？
• RQ3 所提出的加速器在多大程度上能有效利用SmartExchange的权重结构，以提升能效与降低延迟？
• RQ4 SmartExchange框架是否能在实现极端压缩与低成本计算的同时，保持高模型精度？

主要发现

• 在九个模型和四个数据集上的消融实验表明，SmartExchange在压缩效率上优于最先进技术，且精度损失不超过2%。
• SmartExchange加速器相比四种最先进DNN加速器，能效最高提升6.7倍，延迟最低降低19.2倍。
• 在ResNet50上，当权重稀疏度从45.0%提高到60.0%时，DRAM能耗降低18.33%，延迟降低41.83%。
• 在MobileNetV2的深度可分离卷积层上，专用加速器设计使能耗最多降低28.8%，延迟最多降低65.7%。
• 该框架有效利用了向量级结构化稀疏性，显著降低了内存访问与计算开销。
• 将重训练与SmartExchange相结合，确保了在实现高压缩率与低成本计算的同时，保持高模型精度。