[论文解读] Portal: A Query Language for Evolving Graphs

Vera Zaychik Moffitt, Julia Stoyanovich|arXiv (Cornell University)|Feb 2, 2016

Graph Theory and Algorithms参考文献 27被引用 3

一句话总结

Portal 是一种用于可扩展分析演化图的声明式查询语言，基于 Apache Spark 实现，支持选择、连接、聚合以及高级分析等时间操作。它通过优化的物理表示和分区策略，实现高效性能，兼顾结构局部性和时间局部性。

ABSTRACT

Graphs are used to represent a plethora of phenomena, from the Web and social networks, to biological pathways, to semantic knowledge bases. Arguably the most interesting and important questions one can ask about graphs have to do with their evolution. Which Web pages are showing an increasing popularity trend? How does influence propagate in social networks? How does knowledge evolve? Much research and engineering effort today goes into developing sophisticated graph analytics and their efficient implementations, both stand-alone and in scope of data processing platforms. Yet, systematic support for scalable querying and analytics over evolving graphs still lacks. In this paper we present Portal, a declarative language that supports efficient querying and exploratory analysis of evolving graphs, and an implementation of Portal in scope of Apache Spark, an open-source distributed data processing framework. Our language supports a variety of operations including temporal selection, join and aggregation, and a rich class of analytics. We develop multiple physical representations and partitioning strategies and study the trade-offs between structural and temporal locality. We provide an extensive experimental evaluation of our system, demonstrating that careful engineering can lead to good performance.

研究动机与目标

• 解决现代数据处理平台中缺乏对演化图进行系统化、可扩展查询与分析支持的问题。
• 实现对动态图现象（如流行度趋势、影响力传播和知识演化）的高效探索性分析。
• 设计一种声明式语言，支持对演化图的时间操作和复杂分析。
• 在 Apache Spark 中实现 Portal，以确保与大规模分布式数据处理流水线的兼容性。
• 通过量身定制的物理表示和分区策略，优化性能，充分利用结构局部性和时间局部性。

提出的方法

• 设计一种声明式查询语言 Portal，支持对演化图的时间选择、时间连接、聚合以及丰富的图分析操作。
• 将 Portal 实现为 Apache Spark 中的库，以利用其分布式执行引擎和可扩展的数据处理能力。
• 开发多种演化图的物理表示，以平衡存储效率与查询性能。
• 引入分区策略，以同时优化结构局部性（图拓扑）和时间局部性（随时间演化的数据）。
• 评估不同物理模型与分区方案之间的权衡，以指导系统在不同工作负载下的配置。
• 利用 Spark 的执行模型，下推谓词并优化时间操作与结构操作的执行计划。

实验结果

研究问题

• RQ1 如何设计一种声明式查询语言，以高效表达和处理演化图上的查询？
• RQ2 在分布式图处理中，何种物理表示和分区策略最能平衡结构局部性和时间局部性？
• RQ3 Portal 在演化图上处理复杂的时间查询和分析查询时，能够在多大程度上实现可扩展的性能？
• RQ4 物理建模和分区中的不同设计选择如何影响查询执行时间和资源利用率？

主要发现

• Portal 通过与 Apache Spark 集成的声明式语言，实现了对演化图的高效可扩展查询。
• 物理表示和分区策略的选择显著影响性能，需在结构局部性和时间局部性之间权衡。
• 优化的分区策略通过减少数据洗牌和提升缓存局部性，显著改善了查询执行时间。
• 该系统在多种工作负载下表现出良好性能，包括时间选择、连接操作以及对演化图的复杂分析。
• 对物理层的精心工程设计带来了可测量的性能提升，验证了在分布式图系统中低级别优化的重要性。