[论文解读] Strider: A Hybrid Adaptive Distributed RDF Stream Processing Engine

Xiangnan Ren, Olivier Curé|arXiv (Cornell University)|May 16, 2017

Advanced Database Systems and Queries参考文献 19被引用 4

一句话总结

Strider 是一个基于 Apache Spark 和 Kafka 构建的混合自适应分布式 RDF 流处理引擎，能够根据数据流特征在运行时动态优化 SPARQL 查询计划。在 9 个节点的集群上，其吞吐量达到每秒 310 万个 RDF 三元组，单机评估中相比现有最先进系统性能提升高达 60 倍。

ABSTRACT

Real-time processing of data streams emanating from sensors is becoming a common task in Internet of Things scenarios. The key implementation goal consists in efficiently handling massive incoming data streams and supporting advanced data analytics services like anomaly detection. In an on-going, industrial project, we found out that a 24/7 available stream processing engine usually faces dynamically changing data and workload characteristics. These changes impact the engine's performance and reliability. We propose Strider, a hybrid adaptive distributed RDF Stream Processing engine that optimizes logical query plan according to the state of data streams. Strider has been designed to guarantee important industrial properties such as scalability, high availability, fault-tolerant, high throughput and acceptable latency. These guarantees are obtained by designing the engine's architecture with state-of-the-art Apache components such as Spark and Kafka. We highlight the efficiency (e.g., on a single machine machine, up to 60x gain on throughput compared to state-of-the-art systems, a throughput of 3.1 million triples/second on a 9 machines cluster, a major breakthrough in this system's category) of Strider on real-world and synthetic data sets.

研究动机与目标

• 解决在数据和工作负载动态变化条件下，维持实时 RDF 流处理中高吞吐量和低延迟的挑战。
• 设计一个可投入生产的 RSP 引擎，支持可扩展性、高可用性、容错能力以及对工业物联网工作负载的自适应能力。
• 通过基于流数据量和查询特征的运行时自适应机制，克服现有分布式 RSP 系统中静态、编译时查询计划的局限性。
• 实现在真实世界部署中，对来自传感器网络的大规模、无模式 RDF 数据流进行高效连续 SPARQL 处理。
• 通过支持带自适应优化策略的微批处理，弥合 RSP 生态系统中的差距，提升性能与可靠性。

提出的方法

• 利用 Apache Kafka 实现高吞吐、容错的消息流传输和来自分布式传感器的数据摄取。
• 采用 Spark Streaming 的微批处理机制，实现在时间限定窗口内的连续 SPARQL 查询的近实时评估。
• 提出一种混合自适应查询处理（AQP）策略，根据输入数据量在基于规则的（编译时）和基于成本的（运行时）优化之间动态切换。
• 在前一个窗口结束时或当前窗口期间动态重新优化查询计划，以适应流特征的变化。
• 在优化器中使用基于触发器的机制，实现在查询执行过程中自动切换策略，无需人工干预。
• 对涉及多个连接的复杂查询应用逻辑计划重构，尤其用于缓解在结构不稳定的 RDF 流中性能下降的问题。

实验结果

研究问题

• RQ1 如何在数据流工作负载动态变化的条件下，保持分布式 RDF 流处理引擎的高吞吐量和低延迟？
• RQ2 哪些机制能够实现在不牺牲性能或可靠性的前提下，对实时 RDF 流处理系统中的查询计划进行有效自适应？
• RQ3 混合自适应查询处理策略（结合基于规则和基于成本的优化）在大规模 RDF 流处理中能在多大程度上提升性能？
• RQ4 与逐条记录处理相比，带运行时计划自适应的微批处理在连续 SPARQL 查询的吞吐量和延迟方面表现如何？
• RQ5 现有分布式 RSP 系统中的性能瓶颈是什么？通过采用 Spark 和 Kafka 集成等架构选择，如何有效缓解这些瓶颈？

主要发现

• Strider 在 9 台机器的集群上实现了每秒 310 万个 RDF 三元组的吞吐量，标志着分布式 RSP 领域的重大性能突破。
• 在单台机器上，Strider 相比现有最先进系统，吞吐量最高提升 60 倍，凸显其在资源受限环境中的高效性。
• 自适应查询优化策略能有效处理结构不稳定的 RDF 流，例如在查询 Q9 中存在复杂连接模式的情况，防止性能急剧下降。
• 该系统在处理真实世界和合成数据集时表现出强可靠性，在不同流特征下均保持一致的性能表现。
• 尽管延迟略有增加，微批处理架构相比逐条记录处理系统展现出更好的容错能力和系统自适应性。
• 局限性包括数据准备阶段存在 0.8–1 秒的初始化开销，且随着连接算子数量增加，吞吐量下降，表明可通过集群扩展或增强驱动配置进一步优化。