[论文解读] Study on the Data Processing of the IOT Sensor Network Based on Hadoop Cloud Platform and TWLGA Scheduling Algorithm

Guoyu Li, Kang Yang|arXiv (Cornell University)|Dec 1, 2021

E-commerce and Technology Innovations被引用 4

一句话总结

本文提出了一种与时间与工作量遗传算法（TWLGA）集成的Hadoop云平台，以实现物联网传感器网络中高效的大数据处理。通过优化节点间任务调度，该平台提升了数据处理效率与系统兼容性，实验表明其在处理大规模物联网生成的数据流方面性能显著提升。

ABSTRACT

The Internet of Things (IOT) sensor network is an effective solution for monitoring environment condition. IOT sensor network generates massive data, and the abilities of massive data storage, processing and query become technical challenges. To solve the problem, a Hadoop cloud platform is proposed. With the help of time and workload genetic algorithm (TWLGA), the data processing platform provides the work of one node to share with others, which not only raises efficiency of one single node, but also provides the compatibility support to reduce the possible risk of software and hardware. In the experiment, a Hadoop cluster platform with TWLGA scheduling algorithm is built, and the performance of the platform is tested. The results show that the Hadoop cloud platform is suitable for big data processing of the IOT sensor network.

研究动机与目标

• 为解决物联网传感器网络生成的海量数据的存储、处理与查询挑战。
• 提升分布式物联网环境中数据处理的效率与可靠性。
• 通过工作量与时间感知的任务调度降低软硬件故障风险。
• 设计并评估一种基于Hadoop的云平台，其通过新型TWLGA调度算法得到增强。

提出的方法

• 实现了一个Hadoop云平台，用于管理物联网传感器网络产生的大规模数据。
• 开发了时间与工作量遗传算法（TWLGA），以优化集群节点间任务调度。
• TWLGA通过考虑执行时间与系统资源可用性，动态平衡工作负载。
• 该算法使用遗传操作（选择、交叉、变异）演化出最优调度方案。
• 平台支持节点间资源共享，以提升处理效率与容错能力。
• 使用真实物联网数据工作负载，对部署了TWLGA调度器的Hadoop集群进行了测试与验证。

实验结果

研究问题

• RQ1 云平台如何高效管理物联网传感器网络产生的高容量数据？
• RQ2 TWLGA调度算法在Hadoop集群中在多大程度上提升了任务分配与处理速度？
• RQ3 TWLGA的集成是否能降低物联网数据处理系统中的软硬件故障风险？
• RQ4 与传统调度方法相比，所提出的平台在性能方面实现了哪些提升？

主要发现

• 集成TWLGA调度的Hadoop云平台显著提升了物联网传感器网络中的数据处理效率。
• TWLGA算法通过优化节点间的工作负载分配，减少了任务完成时间。
• 节点间资源共享增强了系统容错能力，并降低了对单个节点性能的依赖。
• 该平台在处理大规模物联网数据流方面表现出良好的可扩展性与兼容性。
• 实验结果证实了该平台在实时与高吞吐量物联网数据处理应用中的适用性。
• 基于遗传算法的调度集成带来了更均衡高效的集群资源利用。