[论文解读] Ultra-Efficient On-Device Object Detection on AI-Integrated Smart Glasses with TinyissimoYOLO

Julian Moosmann, Pietro Bonazzi+5 more|arXiv (Cornell University)|Nov 2, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出 TinyissimoYOLO，一种参数量低于百万的 YOLO 基础神经网络家族，专为集成 AI 的智能眼镜实现超高效设备端目标检测而优化。在 GAP9 RISC-V 处理器上运行时，其帧率为 18 FPS，端到端延迟为 56ms，功耗为 62.9mW，可在 154mAh 电池下实现长达 9.3 小时的连续运行，优于同类硬件上的现有工作。

ABSTRACT

Smart glasses are rapidly gaining advanced functions thanks to cutting-edge computing technologies, especially accelerated hardware architectures, and tiny Artificial Intelligence (AI) algorithms. However, integrating AI into smart glasses featuring a small form factor and limited battery capacity remains challenging for a satisfactory user experience. To this end, this paper proposes the design of a smart glasses platform for always-on on-device object detection with an all-day battery lifetime. The proposed platform is based on GAP9, a novel multi-core RISC-V processor from Greenwaves Technologies. Additionally, a family of sub-million parameter TinyissimoYOLO networks are proposed. They are benchmarked on established datasets, capable of differentiating up to 80 classes on MS-COCO. Evaluations on the smart glasses prototype demonstrate TinyissimoYOLO's inference latency of only 17ms and consuming 1.59mJ energy per inference. An end-to-end latency of 56ms is achieved which is equivalent to 18 frames per seconds (FPS) with a total power consumption of 62.9mW. This ensures continuous system runtime of up to 9.3 hours on a 154mAh battery. These results outperform MCUNet (TinyNAS+TinyEngine), which runs a simpler task (image classification) at just 7.3 FPS, while the 18 FPS achieved in this paper even include image-capturing, network inference, and detection post-processing. The algorithm's code is released open with this paper and can be found here: https://github.com/ETH-PBL/TinyissimoYOLO

研究动机与目标

• 在极低功耗和长续航的前提下，实现在智能眼镜上持续运行的设备端目标检测。
• 解决在小型化、电池供电的资源受限可穿戴设备上部署复杂 AI 模型的挑战。
• 设计一种高度高效的神经网络架构，专为基于 RISC-V 的系统实现超低功耗边缘推理而量身定制。
• 在严格能效预算内，实现 18 FPS 的实时性能，同时整合图像采集、推理和后处理。
• 通过协同优化硬件、模型架构和软件栈，展示端到端系统的高效性，适用于智能眼镜。

提出的方法

• 提出 TinyissimoYOLO，一种参数量少于一百万的紧凑 YOLO 基础模型家族，专为边缘部署而设计。
• 采用神经架构搜索与模型压缩技术，在保持准确率的同时最小化模型大小和计算成本。
• 将 TinyissimoYOLO 模型集成至 GAP9 多核 RISC-V 处理器，利用其超低功耗特性实现设备端推理。
• 在 56ms 的端到端延迟预算内，优化完整的推理流水线，包括图像采集、模型推理和后处理。
• 采用面向能效的模型量化与面向硬件的模型编译技术，降低动态和静态功耗。
• 在物理智能眼镜原型上使用 MS-COCO 数据集对系统进行验证，实现 80 类检测，每次推理仅消耗 1.59mJ 能量。

实验结果

研究问题

• RQ1 一个参数量低于百万的 YOLO 基础模型是否能在功耗极低的智能眼镜平台上实现 18 FPS 及以上的实时目标检测？
• RQ2 与同类硬件上的现有边缘 AI 解决方案相比，该系统的端到端延迟和能效表现如何？
• RQ3 模型压缩与面向硬件的神经架构搜索在不牺牲检测准确率的前提下，能在多大程度上减小模型尺寸和推理能耗？
• RQ4 图像采集、推理和后处理的完整流水线是否能在 154mAh 电池下于 56ms 内完成，从而实现长达 9.3 小时的连续运行？
• RQ5 当部署在真实智能眼镜原型上时，TinyissimoYOLO 在 MS-COCO 数据集上的可实现准确率和推理速度如何？

主要发现

• TinyissimoYOLO 在智能眼镜原型上实现了 18 FPS 的性能，端到端延迟为 56ms，支持实时目标检测。
• 系统总功耗仅为 62.9mW，可在 154mAh 电池下实现长达 9.3 小时的连续运行。
• 每次推理仅消耗 1.59mJ 能量，展现出设备端目标检测中卓越的能效表现。
• 该模型在 MS-COCO 数据集上支持最多 80 个物体类别，尽管模型尺寸极小，仍保持高准确率。
• 与仅实现图像分类（7.3 FPS）的 MCUNet 相比，本方案在更高帧率下完成更复杂的任务（包括后处理），表现更优。
• 模型代码的开源发布支持可复现性，并为边缘 AI 研究的进一步优化提供了可能。