[论文解读] PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization

Gordon Euhyun Moon, Aravind Sukumaran-Rajam+2 more|arXiv (Cornell University)|Apr 16, 2019

Advanced Image and Video Retrieval Techniques参考文献 27被引用 7

一句话总结

该论文提出PL-NMF，一种基于HALS方案的并行、局部性优化非负矩阵分解（NMF）算法，通过算法重排序和三维分块技术提升数据局部性，以减少内存带宽瓶颈。该方法在保持高收敛精度的同时，通过最小化数据移动，相较于最先进的CPU和GPU NMF实现，最高可实现287.1倍的加速。

ABSTRACT

Non-negative Matrix Factorization (NMF) is a key kernel for unsupervised dimension reduction used in a wide range of applications, including topic modeling, recommender systems and bioinformatics. Due to the compute-intensive nature of applications that must perform repeated NMF, several parallel implementations have been developed in the past. However, existing parallel NMF algorithms have not addressed data locality optimizations, which are critical for high performance since data movement costs greatly exceed the cost of arithmetic/logic operations on current computer systems. In this paper, we devise a parallel NMF algorithm based on the HALS (Hierarchical Alternating Least Squares) scheme that incorporates algorithmic transformations to enhance data locality. Efficient realizations of the algorithm on multi-core CPUs and GPUs are developed, demonstrating significant performance improvement over existing state-of-the-art parallel NMF algorithms.

研究动机与目标

• 解决现代内存层次结构中因高数据移动成本导致的并行NMF性能瓶颈。
• 通过优化数据局部性提高NMF算法效率，同时不损害收敛质量。
• 利用感知局部性的算法变换，为多核CPU和GPU开发可扩展的高性能NMF实现。
• 系统分析数据移动开销，并推导出适用于不同硬件平台的最优分块尺寸。
• 在速度和收敛效率方面超越现有最先进的并行NMF实现。

提出的方法

• 利用加法的结合律重新组织矩阵更新中的加法贡献，对FAST-HALS NMF算法进行重写，以支持高效的三维分块。
• 对NMF的核心计算——即$WH$和$H^TH$更新——应用三维分块，以提升数据重用性并减少片外内存访问流量。
• 为$W$设计两阶段更新策略，将迭代的密集矩阵-向量乘法替换为优化的密集矩阵-矩阵乘法（DMM）。
• 所有实现均使用相同的BLAS原语（如GPU上的cuBLAS、CPU上的MKL），以确保公平的性能比较。
• 推导出以分块尺寸为自变量的数据移动成本模型，以指导不同硬件平台的最优分块选择。
• 在多核CPU和GPU上实现PL-NMF，采用优化的内存访问模式和线程级并行。

实验结果

研究问题

• RQ1 如何系统性地提升并行NMF中的数据局部性，以减少内存带宽开销？
• RQ2 哪些算法变换可在不改变数学结果的前提下，实现NMF计算中的有效三维分块？
• RQ3 分块尺寸的选择如何影响NMF工作负载中的数据移动和整体性能？
• RQ4 局部性优化的NMF实现是否能显著超越现有最先进的并行NMF算法？
• RQ5 与标准HALS及其他NMF变体相比，所提方法在收敛质量方面保持程度如何？

主要发现

• PL-NMF-cpu在20 Newsgroups、TDT2、Reuters、AT&T和PIE数据集上，K=240时，分别实现了每轮迭代3.07×、3.06×、5.81×、3.02×和3.07×的加速。
• 在PIE数据集上，当相对误差达到0.12时，PL-NMF-gpu相较于PL-NMF-cpu、planc-HALS-cpu、bionmf-MU-gpu和planc-MU-cpu，分别实现了3.49×、9.74×、26.41×和287.1×的加速。
• PL-NMF-cpu通过将迭代的DMV操作替换为优化的DMM和分阶段计算，将更新$W$的时间从20 Newsgroups数据集上的2.039秒减少至0.033秒。
• 数据移动成本模型实现了最优分块尺寸的选择，这对在CPU和GPU上实现高性能至关重要。
• PL-NMF保持了与原始FAST-HALS和planc-HALS-cpu相同的解质量，证实局部性优化不会降低收敛精度。
• 性能提升在密集矩阵上最为显著，最高加速比（287.1×）出现在PIE图像数据集上，凸显了该分块策略在内存受限工作负载中的有效性。