[论文解读] TinyML for Ubiquitous Edge AI

Stanislava Soro|arXiv (Cornell University)|Feb 2, 2021

Advanced Neural Network Applications参考文献 13被引用 33

一句话总结

TinyML 使深度学习在超低功耗嵌入式设备上实现，使分布式边缘推理和自治推理成为可能，而无需依赖沉重的云端；论文综述挑战与技术使能因素。

ABSTRACT

TinyML is a fast-growing multidisciplinary field at the intersection of machine learning, hardware, and software, that focuses on enabling deep learning algorithms on embedded (microcontroller powered) devices operating at extremely low power range (mW range and below). TinyML addresses the challenges in designing power-efficient, compact deep neural network models, supporting software framework, and embedded hardware that will enable a wide range of customized, ubiquitous inference applications on battery-operated, resource-constrained devices. In this report, we discuss the major challenges and technological enablers that direct this field's expansion. TinyML will open the door to the new types of edge services and applications that do not rely on cloud processing but thrive on distributed edge inference and autonomous reasoning.

研究动机与目标

• 识别嵌入式设备上 TinyML 面临的主要挑战。
• 概述使 TinyML 成为可能的技术驱动因素（硬件、软件和模型设计）。
• 解释 TinyML 如何在无需云端依赖的情况下实现边缘服务和自治推理。

提出的方法

• 提供对 TinyML 及其在 ML、硬件与软件融合方面的概念性概览。
• 讨论嵌入式 DNN 在功耗、尺寸和效率方面的主要挑战。
• 描述包括硬件、软件框架和模型设计在内的技术使能因素。
• 讨论 TinyML 能实现的潜在边缘推理场景和自治能力。

实验结果

研究问题

• RQ1 将推动 TinyML 发展的关键挑战与技术使能因素是什么？
• RQ2 TinyML 如何在无需云处理的情况下实现普遍的边缘推理和自治边缘推理？
• RQ3 需要哪种硬件、软件和模型设计的组合，才能在微控制器上支持功耗高效、紧凑的 DNN？

主要发现

• TinyML 有望使新型边缘服务得以在分布式推理和自治推理下运行，而不是依赖云处理。
• 功耗高效、紧凑的深度神经网络是实现普遍边缘 AI 在电池供电设备上的关键。
• 嵌入式硬件与软件框架的进步是实现实际 TinyML 部署的关键使能因素。