[论文解读] Resource-Efficient Deep Learning: A Survey on Model-, Arithmetic-, and Implementation-Level Techniques

Junkyu Lee, Lev Mukhanov+7 more|arXiv (Cornell University)|Dec 30, 2021

Machine Learning and Data Classification参考文献 169被引用 10

一句话总结

本综述提出了一套全面的、三级分类的资源高效深度学习技术体系——模型级（如剪枝、知识蒸馏）、算术级（如量化、低精度算术）和实现级（如硬件感知优化、内存层次结构调优），以提升参数、运算、内存和能效方面的效率。它建立了一个统一的度量框架，强调单位资源的准确率，突出表明在资源受限设备上实现最优性能必须在三个层级上进行联合优化。

ABSTRACT

Deep learning is pervasive in our daily life, including self-driving cars, virtual assistants, social network services, healthcare services, face recognition, etc. However, deep neural networks demand substantial compute resources during training and inference. The machine learning community has mainly focused on model-level optimizations such as architectural compression of deep learning models, while the system community has focused on implementation-level optimization. In between, various arithmetic-level optimization techniques have been proposed in the arithmetic community. This article provides a survey on resource-efficient deep learning techniques in terms of model-, arithmetic-, and implementation-level techniques and identifies the research gaps for resource-efficient deep learning techniques across the three different level techniques. Our survey clarifies the influence from higher to lower-level techniques based on our resource-efficiency metric definition and discusses the future trend for resource-efficient deep learning research.

研究动机与目标

• 提供一个统一、全面的综述，涵盖模型、算术和实现三个抽象层级的资源高效深度学习技术。
• 定义并应用一组一致的资源效率度量标准（如每参数准确率、每运算准确率、内存占用、焦耳能效等），以实现技术间的公平比较。
• 识别模型级、算术级和实现级优化策略之间的研究空白与协同效应。
• 强调在边缘和移动设备上实现物理资源效率最优，必须在所有三个层级上进行联合优化。
• 通过关联模型复杂度、精度与硬件感知部署，为未来高效DNN设计提供指导。

提出的方法

• 将资源高效技术划分为三个层级：模型级（如剪枝、知识蒸馏）、算术级（如量化、低精度算术）和实现级（如内存优化、数据流调优）。
• 定义一个多维资源效率度量标准，包含每参数准确率、每运算准确率、内存占用、核心利用率、内存访问次数和能效（焦耳）。
• 利用该度量标准评估和比较各类技术，通过要求基线模型与优化后模型具有相当的准确率，确保比较的公平性。
• 分析高层优化（模型级与算术级）对低层效率的影响，反之亦然，以阐明其相互依赖关系。
• 调研各类别中的最先进技术，包括新兴趋势如神经形态计算和面向边缘AI的拆分学习。
• 强调模型压缩与硬件感知实现之间协同设计的重要性，以避免因模型规模减小而导致性能下降。

实验结果

研究问题

• RQ1 模型级、算术级和实现级技术如何协同提升深度神经网络的资源效率？
• RQ2 公平比较资源效率的关键度量标准是什么？如何在不同优化技术间实现标准化？
• RQ3 为何模型级优化有时无法在真实硬件上带来物理效率的提升？如何缓解此问题？
• RQ4 在带宽和能效受限的分布式与边缘AI工作负载中，适应资源高效技术面临哪些开放挑战？
• RQ5 未来研究如何将神经架构搜索（NAS）与模型级、算术级和实现级优化相结合，以实现最优效率？

主要发现

• 模型级技术（如剪枝、知识蒸馏）可提升抽象层面的资源效率（如每参数准确率），但若缺乏实现级优化，可能无法降低运行时资源使用量。
• 算术级技术（如量化、低精度算术）通过减少每运算的内存占用和能耗，可直接提升物理资源效率。
• 实现级优化（如片上内存布局、数据流重构）可显著提升每焦耳准确率和核心利用率，尤其在与模型级和算术级技术结合时效果更显著。
• 该综述识别出一个关键研究空白：许多经过模型压缩的网络在实际应用中表现更差，原因在于内存访问和计算开销增加，凸显协同设计的必要性。
• 神经形态计算和拆分学习（如编码/解码的卸载）正成为超低功耗边缘推理的有前景方向。
• 彩票理论假设和偏差-方差权衡是模型级压缩的理论基础，表明在给定数据和复杂度约束下，存在实现最优泛化的最小足够模型规模。