[论文解读] The GAP Benchmark Suite

Scott Beamer, Krste Asanović+1 more|arXiv (Cornell University)|Aug 14, 2015

Graph Theory and Algorithms被引用 160

一句话总结

GAP Benchmark Suite 为图处理引入了一套标准化、多样化的基准测试，明确定义了内核、输入图、评估方法以及优化的参考实现，从而实现研究领域内图算法、框架和硬件之间的公平、可复现比较。该套件支持共享内存平台，并通过业界领先的参考代码设定高标准，推动性能提升。

ABSTRACT

We present a graph processing benchmark suite with the goal of helping to standardize graph processing evaluations. Fewer differences between graph processing evaluations will make it easier to compare different research efforts and quantify improvements. The benchmark not only specifies graph kernels, input graphs, and evaluation methodologies, but it also provides optimized baseline implementations. These baseline implementations are representative of state-of-the-art performance, and thus new contributions should outperform them to demonstrate an improvement. The input graphs are sized appropriately for shared memory platforms, but any implementation on any platform that conforms to the benchmark's specifications could be compared. This benchmark suite can be used in a variety of settings. Graph framework developers can demonstrate the generality of their programming model by implementing all of the benchmark's kernels and delivering competitive performance on all of the benchmark's graphs. Algorithm designers can use the input graphs and the baseline implementations to demonstrate their contribution. Platform designers and performance analysts can use the suite as a workload representative of graph processing.

研究动机与目标

• 解决图处理评估中缺乏标准化的问题，该问题阻碍了研究贡献之间的公平比较。
• 减少方法论上的不一致（如边的方向性或终止条件的差异），这些不一致会扭曲性能比较结果。
• 通过提供经过优化的参考实现，建立一个通用且高质量的基线，以避免低性能基线，并鼓励有意义的改进。
• 通过提供统一的评估框架，支持多种利益相关方：框架开发者、算法设计者和硬件架构师。
• 超越现有基准（如 Graph 500）的局限，不仅包含BFS在合成Kronecker图上的测试，还涵盖多种内核和真实世界图数据。

提出的方法

• 定义六种图内核的套件：BFS、PageRank、连通分量、介数中心性、三角形计数和单源最短路径（SSSP），每种内核均有精确的语义和正确性要求。
• 指定一组多样化的现实世界输入图（例如来自 SNAP、NCI 等来源），其规模适配共享内存系统，确保代表性，并避免使用过于简单或纯合成的数据集。
• 提供经过优化的、生产级别的 C++/OpenMP 参考实现，达到业界领先性能，作为新研究贡献的性能基线。
• 通过验证例程确保正确性：使用串行实现进行输出对比，对 PageRank 使用容差检查，对连通分量使用标签等价性检查。
• 通过确定性执行和一致的计时实践（例如排除图加载时间）确保基准测试的可复现性和公平性。
• 通过将基准规范与参考实现解耦，支持可扩展性，使得任何符合规范的实现均可在任何平台上进行比较。

实验结果

研究问题

• RQ1 标准化的基准套件在多大程度上能提升不同框架和平台之间图处理研究的可复现性和可比性？
• RQ2 方法论上的差异（如边的方向性或终止条件）在多大程度上会影响图内核的性能测量结果？
• RQ3 一组多样化的现实世界图和多个内核是否能暴露仅在特定图拓扑或合成结构上有效的优化方案的局限性？
• RQ4 高性能参考实现是否能有效设定一个有意义的性能基线，从而激励真正的算法或系统级改进？
• RQ5 标准化基准在多大程度上能减少对合成图或过于简单的小图的依赖，从而更真实地反映实际工作负载？

主要发现

• 该基准套件提供了一个标准化、规范明确的评估框架，使不同图处理系统、框架和硬件平台之间的比较成为可能。
• 优化的参考实现设定了高性能的高标准，确保新研究贡献必须超越当前最先进水平，才能证明其真正改进。
• 验证例程（如串行输出对比和容差检查）确保了正确性，降低了错误或误导性结果的风险。
• 该套件支持多种内核和真实世界图，暴露了仅在特定图拓扑或合成结构上有效的优化方案的局限性。
• 该基准具有平台无关性：任何符合规范的实现均可被评估，即使不使用参考代码。
• 参考实现包含多种性能优化，如三角形计数中的提前终止机制，以及介数中心性中的基于位图的后继存储结构，展示了实用的高性能工程实践。