[论文解读] Towards energy-efficient Deep Learning: An overview of energy-efficient approaches along the Deep Learning Lifecycle

Vanessa Mehlin, Sigurd Schacht+1 more|arXiv (Cornell University)|Feb 5, 2023

Green IT and Sustainability被引用 18

一句话总结

本论文综述了跨越整个深度学习生命周期的节能方法，并解释从 IT 基础设施到部署与评估在哪些方面可以实现能效降低。

ABSTRACT

Deep Learning has enabled many advances in machine learning applications in the last few years. However, since current Deep Learning algorithms require much energy for computations, there are growing concerns about the associated environmental costs. Energy-efficient Deep Learning has received much attention from researchers and has already made much progress in the last couple of years. This paper aims to gather information about these advances from the literature and show how and at which points along the lifecycle of Deep Learning (IT-Infrastructure, Data, Modeling, Training, Deployment, Evaluation) it is possible to reduce energy consumption.

研究动机与目标

• 激发对深度学习环境影响的研究，并确定在 DL 生命周期中可节省能量的位置。
• 提供覆盖 IT 基础设施、数据、建模、训练、部署和评估的节能方法的全面综述。
• 提出现有方法的分类法，并突出文献中的进展与空白。

提出的方法

• 对最近的 DL 研究中引用的节能方法进行文献综述。
• 按 DL 生命周期阶段（IT 基础设施、数据、建模、训练、部署、评估）组织和分类这些方法。
• 综合研究结果，说明在哪些方面可以降低能耗以及可能出现的权衡。

实验结果

研究问题

• RQ1 在深度学习生命周期的每个阶段有哪些节能方法？
• RQ2 通过应用这些方法可以节省多少能量，以及它们在各阶段（基础设施、数据、建模、训练、部署、评估）之间的权衡是什么？
• RQ3 文献中还存在哪些空白，需要进一步的研究？

主要发现

• 文献在跨多个生命周期阶段的节能深度学习方面取得了进展。
• 展示了涵盖 IT 基础设施、数据、建模、训练、部署和评估的节能方法分类法。
• 该综述汇集了近几年的进展，绘制出可实现能耗降低的领域。