[论文解读] RT-DAP: A Real-Time Data Analytics Platform for Large-scale Industrial Process Monitoring and Control

Song Han, Tao Gong+4 more|arXiv (Cornell University)|Feb 21, 2018

Time Series Analysis and Forecasting被引用 4

一句话总结

RT-DAP 是一个为大规模工业过程监控与控制设计的实时数据分析平台，基于 Microsoft Azure 的分布式时序数据库、统一消息协议和实时处理框架构建。它支持低延迟的数据流传输、聚合与可视化，通过自适应批处理减少 HBase I/O 开销，在最优队列大小配置下，实现每秒 1000 个数据点的处理延迟低于 500 秒。

ABSTRACT

In most process control systems nowadays, process measurements are periodically collected and archived in historians. Analytics applications process the data, and provide results offline or in a time period that is considerably slow in comparison to the performance of the manufacturing process. Along with the proliferation of Internet-of-Things (IoT) and the introduction of "pervasive sensors" technology in process industries, increasing number of sensors and actuators are installed in process plants for pervasive sensing and control, and the volume of produced process data is growing exponentially. To digest these data and meet the ever-growing requirements to increase production efficiency and improve product quality, there needs to be a way to both improve the performance of the analytics system and scale the system to closely monitor a much larger set of plant resources. In this paper, we present a real-time data analytics platform, called RT-DAP, to support large-scale continuous data analytics in process industries. RT-DAP is designed to be able to stream, store, process and visualize a large volume of realtime data flows collected from heterogeneous plant resources, and feedback to the control system and operators in a realtime manner. A prototype of the platform is implemented on Microsoft Azure. Our extensive experiments validate the design methodologies of RT-DAP and demonstrate its efficiency in both component and system levels.

研究动机与目标

• 解决实时工业数据生成与过程控制系统中缓慢的离线分析之间日益扩大的差距。
• 利用无处不在的传感器数据，实现对异构工厂资源的大规模实时监控与控制。
• 克服传统历史记录系统和通用平台在处理高吞吐量时序工业数据时的局限性。
• 设计一个可扩展、低延迟的分析堆栈，集成数据摄取、存储、处理与可视化，适用于工业应用。
• 在实时分析与控制系统之间建立反馈回路，以提升过程效率、安全性和产品质量。

提出的方法

• 设计统一的消息协议，以标准化来自多种工厂资源的实时数据摄取。
• 实现基于 HBase 的分布式时序数据库，专为高吞吐量、低延迟的时序数据存储与查询进行优化。
• 开发分析模型开发工作室（MDS），用于设计用于过程分析的数据与控制流管道。
• 将弹性实时处理引擎（Storm）与自适应批处理机制集成，以减少 HBase I/O 操作和延迟。
• 在 Minnowboard 上部署轻量级 IIoT 现场网关（IIoT-FG），用于连接异构传感器与执行器至平台。
• 采用双线程 Spout 架构与自适应队列机制，以在数据聚合中平衡吞吐量与延迟。

实验结果

研究问题

• RQ1 如何设计一个实时分析平台，以处理大规模工业工厂中高吞吐量、异构的时序数据？
• RQ2 哪些设计模式可最小化时序数据库在持续数据聚合过程中的 I/O 开销？
• RQ3 批处理与自适应队列机制如何提升工业分析工作负载中实时流处理的性能？
• RQ4 像 Microsoft Azure 这类云平台在多大程度上能够支持工业过程控制的低延迟、可扩展分析？
• RQ5 现场网关与实时处理框架的集成是否能有效实现分析与控制决策之间的闭环？

主要发现

• 当采用最优队列大小配置时，RT-DAP 平台在每秒处理 1000 个数据点的数据流下，实现了端到端处理时间低于 500 秒。
• HBase 的写入与扫描操作主导了处理时间，是数据聚合任务中延迟的主要来源。
• 将最大队列大小从 20 提升至 200 显著减少了 HBase 写入时间，提升了系统吞吐量并降低了延迟。
• 当队列大小超过 160 后，平均运行时队列大小稳定在最大值以下，表明实现了有效的负载均衡。
• 当数据速率超过每秒 1200 个数据点时，系统无法维持处理速度，因为处理时间超过了 500 秒的测试窗口。
• 自适应批处理通过在单个批次中处理多个记录，降低了 HBase 的访问频率，提升了 I/O 效率，同时未牺牲实时响应能力。