[论文解读] Pushing the Limit: A Hybrid Parallel Implementation of the Multi-resolution Approximation for Massive Data

Huang Huang, Lewis R. Blake+1 more|arXiv (Cornell University)|Apr 30, 2019

Soil Geostatistics and Mapping参考文献 6被引用 5

一句话总结

本文提出了一种混合并行C++实现的多分辨率近似（MRA）高斯过程方法，结合MPI与OpenMP，可在大规模空间数据集上实现可扩展的似然推断。在128个节点上，对4700万条观测数据的似然评估时间低于10秒，证明了其在真实世界环境数据中的实际可行性。

ABSTRACT

The multi-resolution approximation (MRA) of Gaussian processes was recently proposed to conduct likelihood-based inference for massive spatial data sets. An advantage of the methodology is that it can be parallelized. We implemented the MRA in C++ for both serial and parallel versions. In the parallel implementation, we use a hybrid parallelism that employs both distributed and shared memory computing for communications between and within nodes by using the Message Passing Interface (MPI) and OpenMP, respectively. The performance of the serial code is compared between the C++ and MATLAB implementations over a small data set on a personal laptop. The C++ parallel program is further carefully studied under different configurations by applications to data sets from around a tenth of a million to 47 million observations. We show the practicality of this implementation by demonstrating that we can get quick inference for massive real-world data sets. The serial and parallel C++ code can be found at https://github.com/hhuang90.

研究动机与目标

• 解决传统高斯过程在大规模空间数据集上进行基于似然的推断时计算不可行的问题。
• 开发一种高性能、可扩展的多分辨率近似（MRA）实现，以处理最多4700万条观测数据的集合。
• 通过针对Cheyenne等HPC环境定制的混合并行化（MPI + OpenMP）优化串行与并行性能。
• 证明MRA在真实世界环境数据（如卫星观测）中的实际适用性，实现低延迟推断。

提出的方法

• 通过在多个层级上对空间域进行分层多分辨率划分，实现MRA的构建。
• 在每一级分辨率上迭代应用预测过程近似，使用控制点作为基函数来表示过程。
• 采用混合并行化：MPI用于节点间的分布式内存通信，OpenMP用于节点内的共享内存并行。
• 在MPI中使用动态调度以平衡各进程的工作负载，减少似然评估中的负载不均衡。
• 通过在高层计算完成后立即释放中间矩阵（如Â）来优化内存使用。
• 在控制点位置引入非有理偏移，以防止不同分辨率层级之间的数值共线性，确保数值稳定性。

实验结果

研究问题

• RQ1 MRA能否被高效并行化，以扩展到包含数千万条空间观测数据的规模？
• RQ2 与串行C++和Matlab相比，混合MPI+OpenMP实现的性能和内存效率如何？
• RQ3 在大规模数据集上，最小化似然评估时间的MPI进程与OpenMP线程的最佳配置是什么？
• RQ4 MRA能否在现代HPC集群上实现对4700万条观测数据的亚10秒似然评估时间？
• RQ5 内存消耗如何随分辨率层级和控制点数量变化？其理论上限是什么？

主要发现

• 混合并行C++实现使用128个Cheyenne节点（109 GB可用内存）对4700万条观测数据的似然评估时间低于10秒。
• 对于大型MODIS数据集，最佳配置（128个MPI进程）将似然评估时间缩短至10.02秒（±0.15秒），内存利用率达100%。
• 在个人笔记本电脑上，串行C++版本对小型MODIS数据集（约10万条观测）的性能优于Matlab约2.5倍。
• 内存使用量受理论上限 $ J^{M-1} imes M(M-1)/2 imes r^2 imes 8 $ 字节的约束，且通过中间矩阵的释放显著降低了峰值内存占用。
• MPI中的动态调度方案改善了负载均衡，尤其在非规则工作负载下，显著降低了执行时间的方差。
• 使用相同128节点配置，对4700万条观测数据的预测任务在85秒内完成，证实了该方法在完整推断流程中的可扩展性。