[论文解读] Palgol: A High-Level DSL for Vertex-Centric Graph Processing with Remote Data Access

Yongzhe Zhang, Hsiang−Shang Ko+1 more|arXiv (Cornell University)|Mar 28, 2017

Graph Theory and Algorithms参考文献 20被引用 6

一句话总结

Palgol 是一种用于顶点中心图计算的高级领域特定语言（DSL），支持高效的远程数据访问——通过链式访问机制读写任意顶点的属性，从而能够表达 Pregel 中复杂且动态的通信模式。它可编译为高效的 Pregel 代码，性能与手工优化的实现相当。

ABSTRACT

Pregel is a popular distributed computing model for dealing with large-scale graphs. However, it can be tricky to implement graph algorithms correctly and efficiently in Pregel's vertex-centric model, especially when the algorithm has multiple computation stages, complicated data dependencies, or even communication over dynamic internal data structures. Some domain-specific languages (DSLs) have been proposed to provide more intuitive ways to implement graph algorithms, but due to the lack of support for remote access --- reading or writing attributes of other vertices through references --- they cannot handle the above mentioned dynamic communication, causing a class of Pregel algorithms with fast convergence impossible to implement. To address this problem, we design and implement Palgol, a more declarative and powerful DSL which supports remote access. In particular, programmers can use a more declarative syntax called chain access to naturally specify dynamic communication as if directly reading data on arbitrary remote vertices. By analyzing the logic patterns of chain access, we provide a novel algorithm for compiling Palgol programs to efficient Pregel code. We demonstrate the power of Palgol by using it to implement several practical Pregel algorithms, and the evaluation result shows that the efficiency of Palgol is comparable with that of hand-written code.

研究动机与目标

• 解决现有 Pregel DSL 的局限性，即数据访问仅限于相邻顶点，无法表达需要动态、非局部通信的算法。
• 支持实现高级 Pregel 算法（如 Shiloach-Vishkin 连通分量和链表排序），这些算法依赖于维护和访问动态内部数据结构（如父指针）。
• 设计一种声明式语言模型，安全地支持远程读写操作，同时保持高效编译为 Pregel 的消息传递模型。
• 开发一种新颖的编译策略，将链式访问（连续的远程引用）优化为最少的消息传递模式，以减少通信开销。
• 证明高阶 Palgol 程序可实现与手工编写的 Pregel 代码相当的性能，从而弥合高级抽象与低级效率之间的差距。

提出的方法

• 引入算法超步（algorithmic supersteps）作为计算的基本单位，实现跨超步的安全且结构化的远程读写操作排序。
• 设计 Palgol 为一种声明式 DSL，通过 '链式访问' 提供对远程访问的一流支持——一种语法，允许通过引用链直接读取任意远程顶点的属性。
• 设计一种逻辑系统，静态分析链式访问模式，并将其编译为 Pregel 中高效的逐条消息传递序列，以最小化通信轮次。
• 采用受 Green-Marl 启发的程序融合技术，将原子 Palgol 步骤合并为单个循环体，减少运行时开销并提升性能。
• 实现两阶段编译模型：首先将 Palgol 步骤转换为符合 Pregel 的计算函数；其次通过依赖分析和消息聚合优化远程访问模式。
• 利用 Fregel 的函数式组合模型，结合组合子（顺序和迭代）将复杂算法从原子步骤组合而成，确保正确性与模块化。

实验结果

研究问题

• RQ1 Pregel 的高级 DSL 是否能够支持对非直接邻居顶点的远程数据访问，从而实现依赖于动态内部数据结构的算法？
• RQ2 如何高效地将远程访问（尤其是涉及多跳的链式访问）编译为 Pregel 的消息传递模型，而不会引入过高的通信开销？
• RQ3 声明式、高级语言如 Palgol 在真实图算法中，能在多大程度上实现与手工优化的 Pregel 代码相当的性能？
• RQ4 何种语言设计原则能够安全高效地支持顶点中心模型中的远程写操作，而无需引入复杂的冲突检测或运行时检查？
• RQ5 能否在保持效率和表达力的前提下，将 Fregel 的组合式和函数式编程模型扩展以支持远程访问能力？

主要发现

• Palgol 支持实现复杂的 Pregel 算法，如 Shiloach-Vishkin 连通分量算法和链表排序，这些算法因依赖非局部、动态通信而无法被现有 DSL 表达。
• Palgol 中的链式访问机制使程序员能够像直接访问任意顶点的数据一样编写远程读取操作，显著提升了代码的清晰度和可维护性。
• 所提出的链式访问编译逻辑系统通过最小化消息传递轮次，降低了通信成本，实现了对 Pregel 模型的高效映射。
• 评估结果表明，Palgol 生成的代码性能可与手工编写的 Pregel 实现相媲美，证明高级抽象无需以效率为代价。
• 通过结合 Fregel 的组合模型与 Green-Marl 的融合优化技术，Palgol 同时实现了高级表达力与低级效率，弥合了图 DSL 设计中的关键差距。
• Palgol 通过算法超步模型安全地支持远程写操作，避免了冲突检测的复杂性，同时支持动态数据结构的更新。