[论文解读] Resource-Efficient Neural Networks for Embedded Systems

Wolfgang Roth, Günther Schindler+6 more|arXiv (Cornell University)|Jan 7, 2020

Advanced Neural Network Applications参考文献 100被引用 20

一句话总结

本文全面综述了面向嵌入式系统的资源高效深度神经网络（DNN）技术，重点聚焦量化、剪枝和结构效率，以降低内存、计算和能耗。结果表明，结合量化与结构化剪枝可在CPU、GPU和FPGA上实现高推理吞吐量，同时在CIFAR-10和ImageNet数据集上保持具有竞争力的准确率。

ABSTRACT

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on resource-efficient inference based on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark data sets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and prediction quality.

研究动机与目标

• 解决在内存、计算和能耗受限的真实嵌入式与物联网系统中部署计算资源密集型深度神经网络（DNN）的挑战。
• 识别并分析关键技术——量化、剪枝与结构效率——以在不牺牲预测性能的前提下降低DNN复杂度。
• 评估压缩技术在多种嵌入式硬件平台（CPU、GPU、FPGA）上的有效性，以指导系统级设计决策。
• 突出在真实部署场景中平衡模型准确率、推理速度与能效的难度。

提出的方法

• 将资源高效DNN技术分为三种非互斥方法：量化神经网络、网络剪枝与结构效率。
• 调研各领域的最先进方法，包括训练后量化、结构化与非结构化剪枝，以及MobileNet和EfficientNet等高效架构。
• 引入混合精度量化，即在训练过程中学习位宽，以平衡表达能力与计算效率。
• 将压缩技术（量化与剪枝）作为后处理或训练过程中的手段，以减小模型尺寸并加速推理。
• 在具有不同硬件特性的嵌入式系统（ARM CPU、NVIDIA GPU、Xilinx FPGA）上，使用标准基准（CIFAR-10、ImageNet）评估性能。
• 分析软硬件协同设计的权衡，强调内存约束、并行性与片上数据流，以实现最优资源利用。

实验结果

研究问题

• RQ1 量化与剪枝技术如何在保持预测准确率的同时减少DNN的计算与内存开销？
• RQ2 在部署压缩DNN时，不同嵌入式硬件平台（CPU、GPU、FPGA）之间的性能权衡是什么？
• RQ3 结构化剪枝与量化在资源受限设备上结合使用，能在多大程度上实现高吞吐量与低延迟？
• RQ4 硬件特定特性（如内存带宽、并行性、片上存储）如何影响压缩技术的有效性？
• RQ5 自动化神经架构搜索（NAS）能否发现超越当前人工设计的全新高效DNN结构？

主要发现

• FPGA凭借其数据流架构实现最高的吞吐量与硬件利用率，但要求整个模型（包括激活值）能容纳在片上。
• GPU在可编程性、吞吐量与准确率之间提供良好平衡，尤其在结合优化库与片外内存处理大模型时表现更优。
• CPU适用于压缩模型，但缺乏实现竞争性推理速度所需的并行性，尽管其内存容量较大。
• 量化至8位或更低精度可显著降低内存与计算成本，混合精度方法在保持准确率方面表现更优。
• 结构化剪枝生成紧凑、密集且与张量兼容的模型，可高效映射至加速器，从而实现高推理效率。
• 准确率与效率之间的最佳权衡高度依赖于目标硬件，不存在在所有平台上均最优的单一方法。