[论文解读] QPACE -- a QCD parallel computer based on Cell processors

Harald Baier, H. Boettiger+33 more|arXiv (Cornell University)|Nov 11, 2009

Particle physics theoretical and experimental studies参考文献 7被引用 13

一句话总结

QPACE 是一款面向格点量子色动力学（QCD）模拟的高性能、高能效并行计算机，采用通用 IBM PowerXCell 8i 处理器构建，通过在 FPGA 上实现的定制低延迟 3D 晶格网络互联。该系统每机架实现 26 TFlops 的性能，采用创新的水冷解决方案，在关键费米子求解核函数上实现了 20% 的持续性能，已在两个主要高性能计算中心成功部署，硬件缺陷极少。

ABSTRACT

QPACE is a novel parallel computer which has been developed to be primarily used for lattice QCD simulations. The compute power is provided by the IBM PowerXCell 8i processor, an enhanced version of the Cell processor that is used in the Playstation 3. The QPACE nodes are interconnected by a custom, application optimized 3-dimensional torus network implemented on an FPGA. To achieve the very high packaging density of 26 TFlops per rack a new water cooling concept has been developed and successfully realized. In this paper we give an overview of the architecture and highlight some important technical details of the system. Furthermore, we provide initial performance results and report on the installation of 8 QPACE racks providing an aggregate peak performance of 200 TFlops.

研究动机与目标

• 设计一种基于通用处理器而非专用 ASIC 的低成本、可扩展超级计算机，专为格点 QCD 模拟优化。
• 通过使用 FPGA 实现低延迟、面向应用的网络，克服通用系统中高延迟互连的限制。
• 通过创新的液冷系统和紧凑的机架级集成，实现极高的计算密度和能效。
• 部署一台生产就绪的系统，具备高可靠性和高性能，用于量子色动力学领域的物理研究。

提出的方法

• 系统采用 IBM PowerXCell 8i 处理器——即 PlayStation 3 中使用的 Cell 处理器的增强版本——提供高双精度性能和 200 GB/s 的 EIB 带宽。
• 基于 FPGA 的定制网络处理器（NWP）实现了面向格点 QCD 小消息、高频通信模式的 3D 晶格互连。
• 通过使用专用、低开销的硬件逻辑，该晶格网络将延迟降低至约 1 μs，显著低于通用网络的 10–30 μs。
• 创新的低成本液冷系统实现了每机架 26 TFlops 的包装密度，最大限度减少空间和功耗。
• 系统每机架集成 256 个节点卡，每个节点卡包含一个 PowerXCell 8i 和一个基于 FPGA 的 NWP，通过定制背板和主控卡连接。
• 系统通过前端系统连接用于作业管理，并支持物理代码移植，包括用于 Clover-费米子的区域分解求解器。

实验结果

研究问题

• RQ1 能否在基于通用处理器的系统中，通过 FPGA 而非 ASIC 高效实现面向格点 QCD 的高性能、低延迟互连？
• RQ2 如何通过通用处理器实现极端计算密度和能效，以构建面向格点 QCD 的 HPC 系统？
• RQ3 在采用定制优化网络的系统中，关键格点 QCD 核函数（如 Clover-费米子求解器）可达到何种性能水平？
• RQ4 基于通用处理器、自定义互连和冷却系统的系统在生产环境中表现出的可靠性与可扩展性如何？
• RQ5 通过创新的液冷和组件级功耗优化，HPC 系统的能效可提升到何种程度？

主要发现

• QPACE 在单精度下每机架达到 26 TFlops 的峰值性能，在双精度下达到 52 TFlops，8 台机架总计提供 200/400 TFlops 的峰值性能。
• 在使用区域分解算法的 Clover-费米子求解核函数上，系统实现了约峰值性能 20% 的持续性能。
• 基于 FPGA 的网络处理器将节点间延迟降低至约 1 μs，显著低于通用网络常见的 10–30 μs。
• 创新的水冷系统实现了每机架 256 个节点卡的高密度封装，实现每机架 26 TFlops 的性能，最大功耗低于 35 kW。
• 在 Jülich 和 Wuppertal 部署后，系统表现出极低的硬件缺陷率，仅在上电测试阶段有少数组件失效，表明其具有高可靠性。
• 该项目证明了 FPGA 可成功实现 HPC 所需的低延迟、高带宽网络，但未来扩展仍面临 FPGA 资源受限的挑战。