[论文解读] Unleashing the Power of Distributed CPU/GPU Architectures: Massive Astronomical Data Analysis and Visualization case study

Amr H. Hassan, Christopher J. Fluke+1 more|arXiv (Cornell University)|Nov 29, 2011

Astronomy and Astrophysical Research被引用 5

一句话总结

本文提出了一种分布式CPU/GPU框架，通过结合共享内存与分布式内存架构，实现了对海量天文数据的实时分析与交互式可视化。通过利用GPU加速、基于MPI的节点间通信以及主从消息传递模型，该框架在体素渲染中实现了高达每秒2.5万亿个体素的性能，数据移动量至少减少50%，并实现了对超过单机内存容量的数据集（如204 GB的光谱立方体）的处理，跨128块GPU实现33–55 fps的性能表现。

ABSTRACT

Upcoming and future astronomy research facilities will systematically generate terabyte-sized data sets moving astronomy into the Petascale data era. While such facilities will provide astronomers with unprecedented levels of accuracy and coverage, the increases in dataset size and dimensionality will pose serious computational challenges for many current astronomy data analysis and visualization tools. With such data sizes, even simple data analysis tasks (e.g. calculating a histogram or computing data minimum/maximum) may not be achievable without access to a supercomputing facility. To effectively handle such dataset sizes, which exceed today's single machine memory and processing limits, we present a framework that exploits the distributed power of GPUs and many-core CPUs, with a goal of providing data analysis and visualizing tasks as a service for astronomers. By mixing shared and distributed memory architectures, our framework effectively utilizes the underlying hardware infrastructure handling both batched and real-time data analysis and visualization tasks. Offering such functionality as a service in a "software as a service" manner will reduce the total cost of ownership, provide an easy to use tool to the wider astronomical community, and enable a more optimized utilization of the underlying hardware infrastructure.

研究动机与目标

• 解决海量天文数据集超过单机内存与处理能力所带来的计算挑战。
• 利用异构CPU/GPU架构实现实时数据处理与大型光谱立方体的交互式可视化。
• 通过优化数据分布与跨分布式节点的同步机制，最小化I/O与通信开销。
• 为天文学家提供可扩展、成本效益高且用户友好的面向服务的架构，以访问高性能计算资源。

提出的方法

• 框架采用主从通信模型，并使用自定义消息队列实现异步的线程间与节点间通信。
• 每个GPU由一个CPU核心管理，负责数据准备、内核调用及预/后处理，实现对计算的细粒度控制。
• 通过两级通信模型将数据在节点间分区：首先通过CPU与GPU之间的共享内存实现本地数据共享，随后通过MPI实现全局通信。
• 系统采用统一内存寻址（CUDA 4.0及以上）与多GPU流技术，实现计算与数据I/O的重叠，提升吞吐量。
• 调度子模块使用信号量控制对共享内存的独占访问，防止并发更新时的竞争条件。
• 框架使用CUDA驱动API实现GPU内核，通过MPI实现节点间通信，并采用基于远程Qt的可视化工具实现用户交互。

实验结果

研究问题

• RQ1 如何有效编排分布式CPU/GPU架构，以处理超过主存容量的天文数据集？
• RQ2 在异构、多节点GPU系统中，哪些通信与同步策略能最小化数据移动量与延迟？
• RQ3 混合共享/分布式内存模型是否能为大型光谱立方体的交互式体素渲染提供高性能？
• RQ4 当在128块GPU上处理日益增大的数据集时，该框架在帧率方面的可扩展性如何？
• RQ5 与CPU相比，使用GPU对所需处理节点数量及整体通信开销有何影响？

主要发现

• 在使用128块GPU渲染204 GB光谱立方体时，框架实现了每秒2.5万亿整体素的峰值性能。
• 对于204 GB的数据集，系统在Tesla C1060 GPU上稳定达到33 fps，在Tesla C2050 GPU上达到50 fps，表明在不同GPU硬件上均具备良好的可扩展性。
• 通过两级数据汇聚策略（分离本地与全局通信阶段），数据移动量至少减少了50%。
• 性能在数据集规模增大时保持稳定，帧率仅从4 GB时的45 fps略微下降至204 GB时的33 fps，表明具备强大的可扩展性。
• 用GPU替代CPU显著减少了所需处理节点的数量，从而降低了通信开销与基础设施成本。
• 该框架支持对单机内存无法容纳的数据集（如1 TB的ASKAP光谱立方体）进行原位分析与交互式可视化，否则此类数据需对每块GPU划分170个子立方体。