[论文解读] Resource Management in Edge and Fog Computing using FogBus2 Framework

Mohammad Ali Goudarzi, Qifan Deng+1 more|arXiv (Cornell University)|Aug 2, 2021

IoT and Edge/Fog Computing参考文献 16被引用 4

一句话总结

本文提出FogBus2，一种轻量级、容器化的框架，用于在异构边缘、雾和云环境中集成资源管理。它通过可自定义策略实现物联网工作负载的动态调度——通过一种新型基于排名的调度器进行演示——实现了低延迟、极低的资源使用量（25–45 MB RAM）和亚秒级启动时间，使其非常适合实时物联网应用以及研发中的快速原型设计。

ABSTRACT

Edge/Fog computing is a novel computing paradigm that provides resource-limited Internet of Things (IoT) devices with scalable computing and storage resources. Compared to cloud computing, edge/fog servers have fewer resources, but they can be accessed with higher bandwidth and less communication latency. Thus, integrating edge/fog and cloud infrastructures can support the execution of diverse latency-sensitive and computation-intensive IoT applications. Although some frameworks attempt to provide such integration, there are still several challenges to be addressed, such as dynamic scheduling of different IoT applications, scalability mechanisms, multi-platform support, and supporting different interaction models. FogBus2, as a new python-based framework, offers a lightweight and distributed container-based framework to overcome these challenges. In this chapter, we highlight key features of the FogBus2 framework alongside describing its main components. Besides, we provide a step-by-step guideline to set up an integrated computing environment, containing multiple cloud service providers (Hybrid-cloud) and edge devices, which is a prerequisite for any IoT application scenario. To obtain this, a low-overhead communication network among all computing resources is initiated by the provided scripts and configuration files. Next, we provide instructions and corresponding code snippets to install and run the main framework and its integrated applications. Finally, we demonstrate how to implement and integrate several new IoT applications and custom scheduling and scalability policies with the FogBus2 framework.

研究动机与目标

• 解决集中式云计算在处理延迟敏感、数据密集型物联网工作负载方面的局限性。
• 为在异构边缘、雾和云基础设施中集成多样化的物联网应用，提供统一且可扩展的框架。
• 通过可插拔策略支持动态调度与资源管理，实现实时与非实时物联网工作负载的最优服务质量（QoS）。
• 使研究人员和开发者能够在一个轻量级、容器化的环境中轻松部署、测试和扩展物联网应用及调度算法。

提出的方法

• FogBus2采用基于微服务的Docker容器化架构，包含五个核心组件：用户（User）、主控（Master）、执行者（Actor）、任务执行器（Task Executor）和远程日志记录器（Remote Logger），每个组件均内嵌消息处理器以实现组件间通信。
• 该框架支持在多云、边缘和雾服务器上的分布式部署，支持物联网应用和资源管理策略的可扩展、模块化执行。
• 通过扩展initSchedulerByName.py文件中的schedulerName配置，实现了新型基于排名的调度策略，支持运行时动态选择调度策略。
• 框架与现有物联网应用类型（实时与非实时）集成，并通过模块化组件架构支持策略插件。
• 通过Docker镜像大小、运行时RAM占用、启动时间及响应时间等指标，在多种硬件架构上评估了资源使用情况与性能表现。

实验结果

研究问题

• RQ1 如何通过统一框架高效管理物联网系统中边缘、雾和云层级的异构计算资源？
• RQ2 轻量级、容器化框架FogBus2在资源消耗和启动延迟方面的性能特征如何？
• RQ3 集成新型基于排名的调度策略如何提升动态物联网环境中工作负载的管理效率？
• RQ4 FogBus2在多大程度上能够以极低开销支持多样化物联网应用的快速原型设计与部署？

主要发现

• FogBus2组件的压缩Docker镜像大小在几MB到最大100 MB之间，表明其在不同平台部署时对带宽需求极低。
• 各组件的平均运行时RAM使用量较低，范围为25 MB至45 MB，证实其在资源受限设备上具有极小的内存占用和高效率。
• FogBus2组件的启动时间低于1秒，支持快速初始化与重新初始化，这对研究环境中的迭代开发与测试至关重要。
• 该框架支持低延迟运行，图9中报告的物联网应用平均响应时间表明其适用于实时工作负载。
• 通过initSchedulerByName.py中的模块化配置，成功实现了新型基于排名的调度策略集成，支持可扩展性与运行时策略选择。