[论文解读] The design of a streaming analytical workflow for processing massive transit feeds

Hung Cao, Mónica Wachowicz|arXiv (Cornell University)|Jun 15, 2017

Traffic Prediction and Management Techniques参考文献 2被引用 4

一句话总结

本文提出了一种基于 Hadoop MapReduce 的流式分析工作流，用于处理大规模、连续的公共交通数据流，实现实时移动性分析。该工作流整合了数据摄入、清洗和情境化处理——尤其是准确计算到达/出发时间与行程轨迹——在云环境中展现出高可扩展性和高性能，为未来与雾计算架构的集成以降低延迟提供了启示。

ABSTRACT

Retrieving and analyzing transit feeds relies on working with analytical workflows that can handle the massive volume of data streams that are relevant to understand the dynamics of transit networks which are entirely deterministic in the geographical space in which they takes place. In this paper, we consider the fundamental issues in developing a streaming analytical workflow for analyzing the continuous arrival of multiple, unbounded transit data feeds for automatically processing and enriching them with additional information containing higher level concepts accordingly to a particular mobility context. This workflow consists of three tasks: (1) stream data retrieval for creating time windows; (2) data cleaning for handling missing data, overlap data or redundant data; and (3) data contextualization for computing actual arrival and departure times as well as the stops and moves during a bus trip, and also performing mobility context computation. The workflow was implemented in a Hadoop cloud ecosystem using data streams from the CODIAC Transit System of the city of Moncton, NB. The Map() function of MapReduce is used to retrieve and bundle data streams into numerous clusters which are subsequently handled in a parallel manner by the Reduce() function in order to execute the data contextualization step. The results validate the need for cloud computing for achieving high performance and scalability, however, due to the delay in computing and networking, it is clear that data cleaning tasks should not only be deployed using a cloud environment, paving the way to combine it with fog computing in the near future.

研究动机与目标

• 解决在实时环境中分析高吞吐量、连续公共交通数据流的挑战。
• 设计一种可扩展、可并行化的处理工作流，用于处理来自多个源的无界公共交通数据流。
• 实现对移动性上下文的精确计算，包括行程停靠点、移动行为以及实际到达/出发时间。
• 评估基于云的处理在大规模公共交通分析中的性能与可行性。
• 识别延迟方面的局限性，并为未来优化提出混合云-雾计算架构。

提出的方法

• 工作流在 Hadoop 生态系统中实现，使用 MapReduce 进行分布式流式处理。
• Map() 函数将传入的数据流聚合并打包为基于时间窗口的集群，以实现并行处理。
• Reduce() 函数执行数据情境化处理，包括行程重建与移动性上下文计算。
• 应用数据清洗技术，以解决流中缺失、重叠或冗余数据的问题。
• 系统采用基于时间窗口的数据检索机制，以管理连续数据摄入并保持时间一致性。
• 架构利用云基础设施，实现大规模数据工作负载下的高可扩展性与高性能。

实验结果

研究问题

• RQ1 如何设计一种可扩展的实时分析工作流，以处理大规模、连续的公共交通数据流？
• RQ2 在云环境中使用 Hadoop MapReduce 进行流式公共交通数据处理的性能特征是什么？
• RQ3 如何有效将数据清洗与情境化处理集成到公共交通网络的流式处理管道中？
• RQ4 基于云的流式处理中存在哪些延迟挑战，如何加以缓解？
• RQ5 雾计算在多大程度上可与基于云的处理结合，以实现低延迟的公共交通分析？

主要发现

• 基于 Hadoop 的工作流在处理大规模公共交通数据流方面成功实现了高性能与高可扩展性。
• 使用 MapReduce 有效实现了在分布式节点上对数据情境化任务的并行化处理。
• 数据清洗被识别为主要瓶颈，其延迟凸显了对优化预处理流程的迫切需求。
• 系统能有效计算出准确的行程级信息，包括停靠点、移动行为以及实际到达/出发时间。
• 结果表明，结合云与雾计算可降低处理延迟，提升实时响应能力。
• 工作流证明了自动化、大规模公共交通数据增强在移动性上下文分析中的可行性。