[论文解读] PLANC: Parallel Low Rank Approximation with Non-negativity Constraints

Srinivas Eswar, Koby Hayashi+4 more|arXiv (Cornell University)|Aug 30, 2019

Tensor decomposition and applications参考文献 52被引用 5

一句话总结

本文提出 PLANC，一种可扩展的、基于分布式内存的并行框架，用于大规模密集张量的非负低秩张量近似（NNCP）。通过利用维度树优化 MTTKRP 内核并结合 GPU 加速，该框架显著提升了计算效率，在最多 512 个节点上实现了强可扩展性，并在 20 GB 的脑成像数据上相比串行方法获得了显著加速。

ABSTRACT

We consider the problem of low-rank approximation of massive dense non-negative tensor data, for example to discover latent patterns in video and imaging applications. As the size of data sets grows, single workstations are hitting bottlenecks in both computation time and available memory. We propose a distributed-memory parallel computing solution to handle massive data sets, loading the input data across the memories of multiple nodes and performing efficient and scalable parallel algorithms to compute the low-rank approximation. We present a software package called PLANC (Parallel Low Rank Approximation with Non-negativity Constraints), which implements our solution and allows for extension in terms of data (dense or sparse, matrices or tensors of any order), algorithm (e.g., from multiplicative updating techniques to alternating direction method of multipliers), and architecture (we exploit GPUs to accelerate the computation in this work).We describe our parallel distributions and algorithms, which are careful to avoid unnecessary communication and computation, show how to extend the software to include new algorithms and/or constraints, and report efficiency and scalability results for both synthetic and real-world data sets.

研究动机与目标

• 解决大规模非负张量数据低秩近似中的计算与内存瓶颈问题。
• 设计一种可扩展的、基于分布式内存的并行算法，以最小化通信开销与负载不平衡。
• 实现在高性能计算架构（包括 GPU）上高效执行非负 CP 分解。
• 提供一个可扩展的软件框架，支持多种算法、数据类型与约束条件。

提出的方法

• 采用维度树数据结构缓存并重用 MTTKRP 操作中的中间计算结果，减少冗余计算。
• 设计一种通信避免型并行算法，在 MTTKRP 计算过程中最小化处理器之间的数据移动。
• 采用共享内存与分布式内存混合模型，支持在 HPC 集群上进行大规模张量分解。
• 通过将 MTTKRP 映射为每轮迭代中的两次 GEMM 操作，集成 GPU 加速，充分利用高算术强度。
• 通过模块化软件接口支持多种优化算法（如 MU、HALS、ADMM、基于 Nesterov 的方法）。
• 通过为 NNLS 求解器和更新规则提供插件式架构，支持新算法与约束条件的可扩展性。

实验结果

研究问题

• RQ1 通信避免型、可扩展的并行 MTTKRP 算法是否能在大规模张量数据上实现强可扩展性？
• RQ2 维度树的使用在非负 CP 分解中如何降低计算成本？
• RQ3 GPU 加速在大规模非负张量分解中能带来多大程度的性能提升？
• RQ4 在并行环境下，NNLS 算法的选择如何影响每轮迭代时间与收敛速度？
• RQ5 该框架能否高效处理密集与稀疏张量数据，并支持可扩展的算法？

主要发现

• PLANC 在 20 GB 的小鼠脑成像数据集上实现了最多 512 个节点的强可扩展性，表现出高效率与低通信开销。
• 维度树优化通过重用中间结果，减少了 MTTKRP 中的冗余计算，显著提升了性能。
• GPU 加速通过利用基于 GEMM 的 MTTKRP 内核的高算术强度，提供了显著的加速效果，尤其在本地张量维度较大时优势明显。
• 该框架弱可扩展至超过 16,000 个节点（35 TB 数据），证实其可处理 Peta-scale 张量工作负载的能力。
• 不同 NNLS 算法（如基于 Nesterov 的方法）在每轮迭代时间上表现出可测量的差异，表明算法选择会影响整体求解时间。
• 该软件框架成功支持多种算法与数据类型，包括密集 NMF、稀疏 NMF 和密集 NTF，并具备对后续扩展的可扩展性。