[论文解读] Tiny but Accurate: A Pruned, Quantized and Optimized Memristor Crossbar Framework for Ultra Efficient DNN Implementation

Xiaolong Ma, Geng Yuan+7 more|arXiv (Cornell University)|Aug 27, 2019

Advanced Memory and Neural Computing参考文献 26被引用 8

一句话总结

该论文提出了一种统一的软硬件协同优化框架，通过结合基于ADMM的结构化权重重剪枝与8位量化，实现了在忆阻器交叉阵列上超高效的深度神经网络（DNN）推理。该框架引入了网络净化（Network Purification）和未使用路径移除（Unused Path Removal）技术，以消除剪枝后残留的冗余权重和非活跃连接，从而在VGG-16上实现高达50.02×的压缩率，且精度损失接近于零；在VGG-16上实现44.67×压缩率，仅损失0.63%精度，同时保持了高能效和硬件可行性。

ABSTRACT

The state-of-art DNN structures involve intensive computation and high memory storage. To mitigate the challenges, the memristor crossbar array has emerged as an intrinsically suitable matrix computation and low-power acceleration framework for DNN applications. However, the high accuracy solution for extreme model compression on memristor crossbar array architecture is still waiting for unraveling. In this paper, we propose a memristor-based DNN framework which combines both structured weight pruning and quantization by incorporating alternating direction method of multipliers (ADMM) algorithm for better pruning and quantization performance. We also discover the non-optimality of the ADMM solution in weight pruning and the unused data path in a structured pruned model. Motivated by these discoveries, we design a software-hardware co-optimization framework which contains the first proposed Network Purification and Unused Path Removal algorithms targeting on post-processing a structured pruned model after ADMM steps. By taking memristor hardware constraints into our whole framework, we achieve extreme high compression ratio on the state-of-art neural network structures with minimum accuracy loss. For quantizing structured pruned model, our framework achieves nearly no accuracy loss after quantizing weights to 8-bit memristor weight representation. We share our models at anonymous link https://bit.ly/2VnMUy0.

研究动机与目标

• 为解决在能效感知神经形态计算中极端模型压缩的挑战。
• 克服基于ADMM的结构化剪枝方法的局限性，该方法在剪枝后仍会遗留冗余权重和未使用路径。
• 设计一种软硬件协同优化框架，以尊重忆阻器硬件约束，实现可部署的高精度压缩DNN。
• 在剪枝模型上实现接近无损的8位量化，以减小硬件占用面积并提升能效。
• 在标准基准测试中，优于现有方法（如Group Scissor和SSL），在压缩率和精度保持方面表现更优。

提出的方法

• 利用ADMM求解非凸的结构化剪枝问题，实现对DNN权重稀疏模式的高效优化。
• 应用忆阻器感知量化，通过每个权重使用两个器件将8位权重映射到4位忆阻器状态，以减少硬件开销。
• 引入网络净化（Network Purification）以移除ADMM剪枝后残留的冗余权重，提升模型效率。
• 提出未使用路径移除（Unused Path Removal）以消除结构化剪枝模型中的非活跃连接，进一步减小硬件占用面积。
• 采用知识蒸馏技术，从全精度软件模型中提取知识，指导量化过程并保持精度。
• 通过MATLAB和NVSim仿真验证框架，采用H树路由和45nm CMOS外围电路进行面积与功耗估算。

实验结果

研究问题

• RQ1 基于ADMM的结构化剪枝结合8位量化，是否能在忆阻器交叉阵列上实现极端压缩率，且精度损失极小？
• RQ2 在ADMM优化的结构化剪枝模型中，冗余权重和未使用路径的残留程度如何？能否系统性地予以清除？
• RQ3 所提出的软硬件协同优化框架相较于现有方法，在压缩率和能效方面有何提升？
• RQ4 忆阻器硬件约束（如4位精度、1R交叉阵列）对模型压缩率和精度有何影响？
• RQ5 该框架在剪枝模型上进行8位量化后，是否能保持高精度，特别是在VGG-16和ResNet-18等深层网络中？

主要发现

• 在CIFAR-10上，该框架在VGG-16上实现50.02×压缩率，精度损失仅0.63%，且8位量化后无精度损失。
• 在CIFAR-10上，对于ResNet-18，该框架实现59.84×压缩率，量化后无精度损失。
• 在ImageNet上，该框架在ResNet-18上实现3.33×压缩率，top-1精度达88.36%；在ResNet-50上实现2.70×压缩率，精度达92.27%。
• P-RM协同优化将5.83×的ResNet-18模型的面积和功耗从0.235 mm²和3.359 W分别降低至0.042 mm²和0.585 W，且无精度损失。
• 在VGG-16上，该框架实现44.67×压缩率，精度损失0.63%；使用P-RM后，压缩率可达50.02×，精度损失仍为0.63%，优于Group Scissor和SSL。
• 在MNIST上使用LeNet-5，该框架实现231.82×压缩率，精度仅下降0.4%，在40×和88×压缩率下量化后无精度损失。