[论文解读] Reducing Property Graph Queries to Relational Algebra for Incremental View Maintenance

Gábor Szárnyas, József Marton+2 more|arXiv (Cornell University)|Jun 19, 2018

Graph Theory and Algorithms参考文献 58被引用 3

一句话总结

本文提出了一种新颖的方法，通过将属性图查询归约为嵌套关系代数表示，再进一步转换为平坦关系代数，从而实现属性图查询的增量视图维护（IVM）。该方法利用判别网络和关系型IVM技术，高效地在数据更新时维护查询结果，是首个使用openCypher作为目标语言的属性图数据库IVM的全面解决方案。

ABSTRACT

The property graph data model of modern graph database systems is increasingly adapted for storing and processing heterogeneous datasets like networks. Many challenging applications with near real-time requirements -- e.g. financial fraud detection, recommendation systems, and on-the-fly validation -- can be captured with graph queries, which are evaluated repeatedly. To ensure quick response time for a changing data set, these applications would benefit from applying incremental view maintenance (IVM) techniques, which can perform continuous evaluation of queries and calculate the changes in the result set upon updates. However, currently, no graph databases provide support for incremental views. While IVM problems have been studied extensively over relational databases, views on property graph queries require operators outside the scope of standard relational algebra. Hence, tackling this problem requires the integration of numerous existing IVM techniques and possibly further extensions. In this paper, we present an approach to perform IVM on property graphs, using a nested relational algebraic representation for property graphs and graph operations. Then we define a chain of transformations to reduce most property graph queries to flat relational algebra and use techniques from discrimination networks (used in rule-based expert systems) to evaluate them. We demonstrate the approach using our prototype tool, ingraph, which uses openCypher, an open graph query language specified as part of an industry initiative. However, several aspects of our approach can be generalised to other graph query languages such as G-CORE and PGQL.

研究动机与目标

• 为解决现代属性图数据库中缺乏增量视图维护（IVM）支持的问题，这对欺诈检测和推荐系统等实时应用至关重要。
• 克服将传统关系型IVM技术应用于属性图时面临的挑战，包括可选模式、嵌套数据结构，以及复杂操作如聚合和可达性查询。
• 通过将openCypher查询编译为关系代数并利用成熟的IVM技术进行增量维护，实现高效、持续的查询评估。
• 将该方法推广以支持高级查询特性，如可选/反向模式、传递闭包和非可分配聚合。
• 通过增量评估为将属性图查询处理与基于RDBMS的系统集成奠定基础。

提出的方法

• 将用openCypher表达的属性图查询编译为嵌套关系代数表示，以处理地图、列表和集合等复杂数据结构。
• 应用一系列变换将嵌套关系代数表达式归约为平坦关系代数，以实现与现有IVM技术的兼容性。
• 利用判别网络——最初为基于规则的专家系统开发——高效评估并维护转换后的关系表达式。
• 集成关键操作符（如选择、投影、自然连接、半连接、反连接和外连接）的增量维护机制，包括对空值的支持。
• 通过摘要-增量技术扩展方法，以支持复杂聚合，包括非可分配函数（如min、max、stdev）。
• 通过时空权衡策略支持可达性查询，利用传递闭包维护，适配图的上下文。

实验结果

研究问题

• RQ1 是否能够系统性地将用openCypher表达的属性图查询归约为平坦关系代数，同时保持语义一致性？
• RQ2 如何将关系型数据库中的增量视图维护技术适配于属性图的独特特征，如嵌套数据和可选模式？
• RQ3 何种变换流水线能够实现复杂图查询（包括聚合和可达性）的高效且正确的增量评估？
• RQ4 现有IVM技术——尤其是基于判别网络的技术——在多大程度上可被重用于属性图查询维护？
• RQ5 该方法是否可推广至其他图查询语言（如G-CORE和PGQL）？

主要发现

• 所提出的框架成功将一大类openCypher查询归约为平坦关系代数，使它们能够使用成熟的IVM技术实现增量维护。
• 该方法支持复杂特性，如可选和反向模式、外连接以及非可分配聚合，这些在以往的IVM工作中通常不被支持。
• 判别网络的使用使得更改传播和结果更新计算更加高效。
• 该方法实现了传递闭包查询的增量评估，尽管由于指数级空间需求导致内存开销较高。
• 原型实现ingraph展示了在使用openCypher的属性图上实现端到端增量查询评估的支持。
• 该工作建立了基础框架，为未来实现基于成本的优化和基于RDBMS的图视图物化提供了可能。