[论文解读] OpenEI: An Open Framework for Edge Intelligence

Xingzhou Zhang, Yifan Wang+4 more|arXiv (Cornell University)|Jun 5, 2019

IoT and Edge/Fog Computing参考文献 66被引用 13

一句话总结

本文提出了OpenEI，一个轻量级开源框架，通过解决资源限制、数据共享和平台-算法不匹配问题，使边缘设备原生运行AI工作负载成为可能。它集成了优化的深度学习模型、用于数据共享的RESTful API，以及支持跨多样化应用的实时、隐私保护边缘智能的模块化架构。

ABSTRACT

In the last five years, edge computing has attracted tremendous attention from industry and academia due to its promise to reduce latency, save bandwidth, improve availability, and protect data privacy to keep data secure. At the same time, we have witnessed the proliferation of AI algorithms and models which accelerate the successful deployment of intelligence mainly in cloud services. These two trends, combined together, have created a new horizon: Edge Intelligence (EI). The development of EI requires much attention from both the computer systems research community and the AI community to meet these demands. However, existing computing techniques used in the cloud are not applicable to edge computing directly due to the diversity of computing sources and the distribution of data sources. We envision that there missing a framework that can be rapidly deployed on edge and enable edge AI capabilities. To address this challenge, in this paper we first present the definition and a systematic review of EI. Then, we introduce an Open Framework for Edge Intelligence (OpenEI), which is a lightweight software platform to equip edges with intelligent processing and data sharing capability. We analyze four fundamental EI techniques which are used to build OpenEI and identify several open problems based on potential research directions. Finally, four typical application scenarios enabled by OpenEI are presented.

研究动机与目标

• 解决由于计算能力、内存和带宽有限，导致在资源受限的边缘设备上部署AI模型的挑战。
• 在异构硬件和数据源的分布式边缘节点之间，实现高效的数据共享与协作。
• 通过可移植、模块化的软件栈，弥合多样化边缘平台与不同AI算法需求之间的不匹配。
• 提供标准化、可扩展的软件框架，以加速边缘智能应用的原型设计与部署。
• 通过将敏感数据保留在边缘并最小化对云的依赖，支持实时、隐私保护的AI处理。

提出的方法

• 在OpenEI中设计轻量级深度学习模型包管理器，以优化并部署适用于边缘设备的小型化AI模型（例如，MobileNet、SqueezeNet）。
• 实现libei，一个统一的RESTful API层，以在分布式边缘节点之间实现安全、标准化的数据共享与服务调用。
• 集成云-边协同机制，允许模型更新和集中协调，同时保持本地推理能力。
• 构建一个抽象硬件异构性的模块化、可扩展软件堆栈，实现跨多样化边缘平台的可移植性。
• 在框架内支持模型压缩与量化技术，以在不显著损失准确率的情况下减小模型大小和计算成本。
• 提供一个运行时环境，用于管理边缘设备上动态工作负载的模型加载、执行与资源分配。

实验结果

研究问题

• RQ1 在计算和存储资源有限的边缘设备上，如何高效运行现代深度学习模型？
• RQ2 哪些架构模式能够实现分布式边缘节点之间安全、可扩展且互操作的数据共享与协作？
• RQ3 统一的软件框架如何缓解异构边缘平台与多样化AI算法需求之间的不匹配？
• RQ4 在边缘网络实现实时、隐私保护的AI推理面临哪些关键的系统级挑战？
• RQ5 OpenEI如何支持在智能家居、医疗保健和自动驾驶汽车等真实应用场景中实现端到端的边缘智能部署？

主要发现

• OpenEI成功实现在资源受限边缘设备上部署优化后的深度学习模型（例如，VGG-16、MobileNet），显著降低内存占用并减少计算成本。
• libei API层促进了在异构边缘节点之间实现安全、标准化的数据共享与服务编排，提升了分布式环境中的互操作性。
• 通过云-边协同，OpenEI支持模型更新与集中式训练，同时保持边缘端低延迟、实时推理能力。
• 该框架在四个真实应用场景中验证了可行性：智能家居、自动驾驶汽车、多用户AR/VR游戏和智能健康，表现出更低延迟与更高隐私保障。
• 通过支持设备端推理，OpenEI减少了对云处理的依赖，从而降低带宽使用并增强数据隐私。
• 该框架识别并解决了边缘AI中的关键开放问题，包括模型压缩、动态资源管理与安全数据协作，为未来研究奠定了基础。