[论文解读] Zygarde: Time-Sensitive On-Device Deep Intelligence on Intermittently-Powered Systems.

Bashima Islam, Yubo Luo+1 more|arXiv (Cornell University)|May 5, 2019

Energy Harvesting in Wireless Networks参考文献 79被引用 9

一句话总结

本文提出 Zygarde，一种面向在间歇性供电的微控制器单元（MCUs）上运行压缩深度神经网络的、兼顾时间、能耗与准确率的调度算法。通过利用非精确计算、推理任务的早期终止，以及基于半监督模型确定任务非精确性的方法，Zygarde 在准确率上提升 3.19%–9.45%，执行时间减少 14%，相比基线方法可调度 12%–33% 更多任务。

ABSTRACT

In this paper, we propose a time-, energy-, and accuracy-aware scheduling algorithm for intermittently powered systems that execute compressed deep learning tasks that are suitable for MCUs and are powered solely by harvested energy. The sporadic nature of harvested energy, resource constraints of the embedded platform, and the computational demand of deep neural networks (even though compressed) pose a unique and challenging real-time scheduling problem for which no solutions have been proposed in the literature. We empirically study the problem and model the energy harvesting pattern as well as the trade-off between the accuracy and execution of a deep neural network. We develop an imprecise computing-based scheduling algorithm that improves the schedulability of deep learning tasks on intermittently powered systems. We also utilize the dependency of the computational need of data samples for deep learning models and propose early termination of deep neural networks. We further propose a semi-supervised machine learning model that exploits the deep features and contributes in determining the imprecise partition of a task. We implement our proposed algorithms on two different datasets and real-life scenarios and show that it increases the accuracy by 9.45% - 3.19%, decreases the execution time by 14\% and successfully schedules 33%-12% more tasks.

研究动机与目标

• 解决在资源受限的能量与计算资源下，对间歇性供电嵌入式系统中压缩深度学习工作负载的调度挑战。
• 在实时、间歇性能量采集环境中，对能量可用性、推理准确率与执行时间之间的权衡进行建模。
• 通过引入兼顾时间与能耗的调度框架，提升 MCU 上深度神经网络推理的可调度性与准确率。

提出的方法

• 设计一种基于非精确计算的调度算法，根据可用能量和预测的准确率增益动态划分深度学习任务。
• 通过利用输入数据特征对计算需求的依赖性，实现深度神经网络推理的早期终止。
• 利用半监督机器学习模型，基于模型学习到的深度特征预测任务的非精确执行部分。
• 对能量采集模式进行建模，并将其与压缩神经网络的准确率和执行时间相关联，以指导调度决策。
• 在真实硬件上实现该算法，使用两个不同数据集和真实场景下的能量采集条件，验证性能表现。

实验结果

研究问题

• RQ1 在能量供应不可预测的间歇性供电 MCU 上，如何有效调度深度学习推理？
• RQ2 在这些系统中，能耗、推理准确率与执行时间之间的最优权衡是什么？
• RQ3 在能量受限条件下，神经网络推理的早期终止能否提升可调度性与准确率？
• RQ4 如何利用半监督学习预测深度学习任务的非精确执行部分？
• RQ5 时间与能耗感知的调度算法在真实能量采集场景中，能在多大程度上提升任务完成率与准确率？

主要发现

• 在能量受限条件下，Zygarde 相较于基线方法，将推理准确率提升了 3.19% 至 9.45%。
• 通过智能的任务划分与早期终止，该算法将平均执行时间减少了 14%。
• Zygarde 在间歇性供电系统上成功调度了比现有方法多 12% 至 33% 的深度学习任务。
• 半监督模型有效识别出最优的非精确执行点，在无需完整推理的情况下提升了准确率。
• 该系统在两个真实数据集和真实能量采集条件下均表现出稳健性能，验证了其实际适用性。