[论文解读] QPACE 2 and Domain Decomposition on the Intel Xeon Phi

Paul Arts, Jacques Bloch+16 more|arXiv (Cornell University)|Feb 13, 2015

Parallel Computing and Optimization Techniques参考文献 8被引用 3

一句话总结

本文介绍了基于英特尔至强融核（Xeon Phi）处理器的定制超算系统QPACE 2，专为高性能格点量子色动力学（lattice QCD）模拟而设计。该系统实现了基于区域分解的求解器，在60个核心上实现了接近线性的强缩放性能，与非区域分解求解器相比，强缩放下时间到解的性能提升了5倍，弱缩放下提升了2–3倍，展示了在KNC架构上卓越的可扩展性和效率。

ABSTRACT

We give an overview of QPACE 2, which is a custom-designed supercomputer based on Intel Xeon Phi processors, developed in a collaboration of Regensburg University and Eurotech. We give some general recommendations for how to write high-performance code for the Xeon Phi and then discuss our implementation of a domain-decomposition-based solver and present a number of benchmarks.

研究动机与目标

• 设计并部署一款基于英特尔至强融核（Knights Corner）处理器的QPACE 2超算系统，用于格点QCD模拟，实现成本与能效的优化。
• 通过实现一种更具延迟容忍性和可扩展性的区域分解（DD）预条件子，解决带宽受限求解器的局限性。
• 针对至强融核架构优化高性能计算工作负载，尤其关注内存访问模式与指令级并行性。
• 利用TACC Stampede集群作为完整QPACE 2系统的代理，评估多节点系统中DD求解器的强缩放与弱缩放行为。
• 为QPACE 3的升级奠定基础，即基于英特尔至强融核（Knights Landing）架构的下一代系统，具备更高的性能与内存带宽。

提出的方法

• QPACE 2采用定制节点设计，集成四个英特尔至强融核7120X处理器、一颗低功耗CPU以及双端口FDR InfiniBand网卡，所有组件通过PCIe交换机连接，支持节点间对等通信。
• 系统采用基于PCIe与FDR InfiniBand的两层网络拓扑，实现低延迟、高带宽的高效节点间通信。
• 实现基于区域分解的求解器，以减轻内存带宽压力并提升可扩展性，尤其适用于KNC的内存层次结构。
• 优化技术包括L1与L2软件预取、指令级调优（如融合乘加指令的使用），以及在60个KNC核心间实现精细的负载均衡。
• 通过Intel VTune进行性能分析，测量关键指标如每核Gflop/s与时间到解，覆盖不同格点尺寸与配置。
• 在TACC Stampede集群上使用7110P至强融核型号进行多节点基准测试，以模拟完整QPACE 2系统的行为。

实验结果

研究问题

• RQ1 在至强融核架构上，区域分解预条件子与非区域分解求解器在强缩放与弱缩放方面的表现如何比较？
• RQ2 哪些性能瓶颈限制了至强融核7120X单核性能？可通过何种软件优化手段缓解？
• RQ3 KNC的内存层次结构与缓存行为在多大程度上影响格点QCD求解器的性能？
• RQ4 在将区域分配给60个KNC核心时，负载不均衡如何影响多核缩放性能？可采用何种策略最小化该影响？
• RQ5 在真实的HMC与数据处理工作负载中，DD求解器相比非DD求解器的预期性能提升幅度是多少？

主要发现

• 单精度下，MR迭代的单核性能达到13.3 Gflop/s/core，性能上限为22 Gflop/s/core，主要受限于指令级开销与内存停顿。
• 整体区域分解预条件子性能达到9.5 Gflop/s/core，性能损失主要源于非MR组件与内存访问模式。
• 当区域数量足够大时，DD求解器在60个核心上实现近乎线性的可扩展性；但当区域数量接近核心数量时，负载不均衡问题变得显著。
• 在强缩放下，DD求解器在TACC Stampede集群上可扩展至1024个节点（1024个KNC），相比非DD求解器实现5倍加速。
• 在弱缩放下，DD求解器性能优于非DD求解器2–3倍，证明其在大规模数据分析中的适用性。
• 系统在连续一个月的基准测试中运行稳定，验证了QPACE 2架构的可靠性。