[论文解读] Parallel Pairwise Correlation Computation On Intel Xeon Phi Clusters

Yongchao Liu, Tony Pan+1 more|arXiv (Cornell University)|May 5, 2016

Gene expression and cancer classification参考文献 37被引用 4

一句话总结

本论文提出 LightPCC，这是首个在英特尔至强融核（Intel Xeon Phi）集群上实现的并行与分布式全对皮尔逊相关系数（PCC）计算框架，利用 SIMD、线程级和加速器级并行计算。在 16 个至强融核处理器上，其相对于顺序执行的 ALGLIB 实现最高达 218.2× 的加速比，相对于单线程 MKL 实现最高达 71.4× 的加速比，展现出出色的可扩展性，并提出一种新颖的双射工作负载均衡框架，用于对称全对相关计算。

ABSTRACT

Co-expression network is a critical technique for the identification of inter-gene interactions, which usually relies on all-pairs correlation (or similar measure) computation between gene expression profiles across multiple samples. Pearson's correlation coefficient (PCC) is one widely used technique for gene co-expression network construction. However, all-pairs PCC computation is computationally demanding for large numbers of gene expression profiles, thus motivating our acceleration of its execution using high-performance computing. In this paper, we present LightPCC, the first parallel and distributed all-pairs PCC computation on Intel Xeon Phi (Phi) clusters. It achieves high speed by exploring the SIMD-instruction-level and thread-level parallelism within Phis as well as accelerator-level parallelism among multiple Phis. To facilitate balanced workload distribution, we have proposed a general framework for symmetric all-pairs computation by building bijective functions between job identifier and coordinate space for the first time. We have evaluated LightPCC and compared it to two CPU-based counterparts: a sequential C++ implementation in ALGLIB and an implementation based on a parallel general matrix-matrix multiplication routine in Intel Math Kernel Library (MKL) (all use double precision), using a set of gene expression datasets. Performance evaluation revealed that with one 5110P Phi and 16 Phis, LightPCC runs up to $20.6 imes$ and $218.2 imes$ faster than ALGLIB, and up to $6.8 imes$ and $71.4 imes$ faster than single-threaded MKL, respectively. In addition, LightPCC demonstrated good parallel scalability in terms of number of Phis. Source code of LightPCC is publicly available at http://lightpcc.sourceforge.net.

研究动机与目标

• 加速大规模基因表达数据集中计算密集型的全对 PCC 计算，用于共表达网络构建。
• 解决全基因组关联研究与置换检验中顺序与基于 CPU 的 PCC 计算所面临的性能瓶颈。
• 充分利用英特尔至强融核集群的全部并行能力——SIMD、多线程与跨芯片加速——实现高性能相关性分析。
• 设计一种通用的双射工作负载分发框架，确保在对称全对计算中处理单元之间的任务分配均衡。
• 在真实与合成的基因表达数据上，将 LightPCC 的性能与最先进的基于 CPU 的实现（ALGLIB 与 MKL）进行对比评估。

提出的方法

• LightPCC 采用基于 C++ 模板的实现，利用每个至强融核处理器中向量单元的 SIMD 指令级并行性。
• 通过在每个至强融核上的多个核心之间实现线程级并行性，同时处理独立的 PCC 计算。
• 框架通过主从模型在集群中多个至强融核之间分发任务，实现加速器级并行性。
• 提出一种新颖的双射映射函数，将对称 PCC 矩阵上三角区域中的坐标对唯一映射为任务 ID，确保负载均衡。
• 通过标准代数恒等式重写 PCC 计算，以支持高效向量化与类似 GEMM 的优化。
• 工作负载通过对称任务矩阵进行管理，每个唯一对 (i,j)（其中 i < j）被分配一个唯一 ID，支持坐标的可逆重建。

Figure 1 : An example direct bijective mapping between job identifier and coordinate space

实验结果

研究问题

• RQ1 分布式并行 PCC 计算框架能否在大规模基因表达数据上，相对于顺序与基于 CPU 的实现取得显著加速？
• RQ2 在英特尔至强融核集群上，多级并行性（SIMD、多线程、跨芯片）在对称全对相关计算中能否被高效利用？
• RQ3 所提出的双射任务 ID 到坐标映射是否能实现在多个至强融核上的均衡且可扩展的工作负载分发？
• RQ4 LightPCC 相较于 ALGLIB 与 MKL 在不同数量的至强融核和不同数据集规模下，性能提升如何？
• RQ5 LightPCC 随着至强融核数量的增加，其扩展性如何？在真实人类基因组数据上，其最大可实现的加速比是多少？

主要发现

• 在单个 5110P 至强融核上，LightPCC 相较于 ALGLIB 实现 13.7× 的加速比，相较单线程 MKL 实现 4.7× 的加速比。
• 在 16 个至强融核上，LightPCC 在真实人类基因组数据集上相较 ALGLIB 实现最高达 218.2× 的加速比，相较单线程 MKL 实现最高达 71.4× 的加速比。
• LightPCC 展现出强大的并行可扩展性，在真实数据上，16 个至强融核相较单个至强融核实现 11.9× 的加速比。
• 当使用 16 个至强融核时，LightPCC 相较于 16 线程 MKL 最大实现 4.3× 的加速比，仅在超过 4 个至强融核时表现优于 MKL。
• 双射工作负载分发框架确保了任务分配的均衡性，从而实现了集群中所有至强融核的高效利用。
• 在人工与真实数据集上的性能评估结果表明，无论问题规模与硬件配置如何变化，LightPCC 均展现出一致且可扩展的性能提升。

(a)