[论文解读] Parallel and distributed Gröbner bases computation in JAS

Heinz Kredel|arXiv (Cornell University)|Jul 30, 2010

Polynomial and algebraic computation参考文献 24被引用 3

一句话总结

本文提出了一种在 Java 代数系统（JAS）中用于并行和分布式 Gröbner 基计算的分布式混合算法，结合多核节点上的共享内存并行计算与通过单一控制通道在节点间进行的分布式内存通信。该方法通过使用独立的分布式数据结构异步传输多项式，在使用 InfiniBand 网络的网格集群上实现了显著的加速效果，性能得到验证。

ABSTRACT

This paper considers parallel Gröbner bases algorithms on distributed memory parallel computers with multi-core compute nodes. We summarize three different Gröbner bases implementations: shared memory parallel, pure distributed memory parallel and distributed memory combined with shared memory parallelism. The last algorithm, called distributed hybrid, uses only one control communication channel between the master node and the worker nodes and keeps polynomials in shared memory on a node. The polynomials are transported asynchronous to the control-flow of the algorithm in a separate distributed data structure. The implementation is generic and works for all implemented (exact) fields. We present new performance measurements and discuss the performance of the algorithms.

研究动机与目标

• 设计并实现可扩展、类型安全的并行 Gröbner 基算法，使用现代面向对象语言（如 Java）。
• 解决在 HPC 集群上进行分布式 Gröbner 基计算时面临的负载不平衡和通信开销挑战。
• 评估三种并行化策略的性能：共享内存、纯分布式内存以及混合（共享 + 分布式）方法。
• 通过高性能网络和高效的内存管理，将算法优化以适应真实世界的 HPC 环境。
• 提供一种通用、可扩展且线程安全的实现，支持 JAS 中的所有精确域。

提出的方法

• 分布式混合算法在主节点与工作节点之间使用单一控制通道，多项式按节点存储在共享内存中，以减少通信开销。
• 通过使用独立的分布式数据结构，将多项式传输与控制流解耦，实现异步通信并改善负载均衡。
• 系统利用 Java 的泛型类型支持精确域，并确保所有代数操作中的类型安全和线程安全。
• 实现了三种并行化策略：纯共享内存多线程、纯分布式内存的节点间通信，以及结合两者的混合模型。
• 仔细设计了终止检测、工作负载均衡以及关键对选择策略，以保持正确性和性能。
• 在配备 InfiniBand 和以太网的网格集群上进行性能评估，使用真实世界的 Gröbner 基示例测量加速比和可扩展性。

实验结果

研究问题

• RQ1 在性能和可扩展性方面，混合并行化模型相较于纯共享内存和纯分布式内存方法表现如何？
• RQ2 工作负载悖论（即某些工作节点接收的工作量多于其他节点）在多大程度上限制了并行 Gröbner 基计算的有效性？
• RQ3 通过分布式数据结构实现异步多项式传输，是否能改善分布式内存系统中的性能并减少通信瓶颈？
• RQ4 不同关键对选择策略对并行 Buchberger 算法的收敛性和效率有何影响？
• RQ5 高速网络（如 InfiniBand）对分布式 Gröbner 基计算性能有何影响？

主要发现

• 在规则示例上，分布式混合算法实现了显著的加速，尤其在使用最优节点和 CPU 配置时表现更佳。
• 在 InfiniBand 网络上的性能显著优于标准以太网，凸显了低延迟通信的重要性。
• 在不利情况下，工作负载悖论限制了可扩展性，多项式数量从 275 增至 564，约化次数从 1577 增至 1717，导致并行效率下降。
• 在测试工作负载中，第一种选择策略（选择第一个完成的约化结果）比基于序列的策略表现更好且更稳健。
• 该实现具备类型安全、通用性，并支持所有精确域，展示了未来扩展的坚实软件工程基础。
• 系统设计允许未来优化，包括直接 InfiniBand 通信、容错机制，以及通过多种项序实现更高层次的并行化。