[论文解读] SPIN: A Fast and Scalable Matrix Inversion Method in Apache Spark

Chandan Misra, Sourangshu Bhattacharya+1 more|arXiv (Cornell University)|Jan 15, 2018

Parallel Computing and Optimization Techniques被引用 4

一句话总结

本文提出 SPIN，一种基于 Strassen 算法的快速可扩展的 Apache Spark 矩阵求逆方法，将每层递归的矩阵乘法次数从 LU 方法中的 12 次减少至 6 次。实验结果表明，SPIN 在所有矩阵和块大小下均优于最先进的 LU 分解方法，理论与实验结果高度一致，且具备接近理想的可扩展性。

ABSTRACT

The growth of big data in domains such as Earth Sciences, Social Networks, Physical Sciences, etc. has lead to an immense need for efficient and scalable linear algebra operations, e.g. Matrix inversion. Existing methods for efficient and distributed matrix inversion using big data platforms rely on LU decomposition based block-recursive algorithms. However, these algorithms are complex and require a lot of side calculations, e.g. matrix multiplication, at various levels of recursion. In this paper, we propose a different scheme based on Strassen's matrix inversion algorithm (mentioned in Strassen's original paper in 1969), which uses far fewer operations at each level of recursion. We implement the proposed algorithm, and through extensive experimentation, show that it is more efficient than the state of the art methods. Furthermore, we provide a detailed theoretical analysis of the proposed algorithm, and derive theoretical running times which match closely with the empirically observed wall clock running times, thus explaining the U-shaped behaviour w.r.t. block-sizes.

研究动机与目标

• 为地球科学和社交网络等领域的大规模数据工作负载中日益增长的高效可扩展矩阵求逆需求提供解决方案。
• 克服现有基于 LU 分解的 Spark 分布式矩阵求逆方法在计算成本和复杂性方面的高开销问题。
• 实现并评估一种基于 Strassen 原始算法的新型矩阵求逆方法，以减少递归操作次数。
• 提供一个与实际运行时间高度吻合的理论成本模型，解释块大小与性能呈现 U 型曲线关系的原因。
• 与最先进的基于 LU 的方法相比，展示所提方法在性能和可扩展性方面的显著优势。

提出的方法

• 该方法采用 Strassen 的矩阵求逆算法，其采用分块递归结构，每层递归仅需 6 次矩阵乘法，而 LU 分解需 12 次。
• 该算法在 Apache Spark 中通过弹性分布式数据集（RDD）实现，支持容错的内存内分布式处理。
• 该方法在递归的叶节点层级避免额外的矩阵乘法，从而降低计算开销。
• 基于 Strassen 算法的递推关系推导出理论成本模型，将运行时间估计为矩阵大小和块大小的函数。
• 实现中采用 Spark 任务流水线管理递归过程，对矩阵分区、乘法和组合步骤进行优化处理。
• 该方法对执行时间各组成部分（如叶节点求逆、矩阵乘法、减法等）进行了详细分析，以识别性能瓶颈。

实验结果

研究问题

• RQ1 当 Strassen 的矩阵求逆算法被适配到分布式 Spark 环境时，其在运行时间与可扩展性方面是否优于现有的基于 LU 分解的方法？
• RQ2 为何所提方法的运行时间随块大小呈现 U 型曲线？该行为能否通过理论模型加以解释？
• RQ3 SPIN 的理论成本模型在不同矩阵大小和块大小下，与实际观测到的执行时间的匹配程度如何？
• RQ4 与理想可扩展性及现有方法相比，SPIN 在增加 Spark 执行器数量和矩阵大小时的可扩展性表现如何？
• RQ5 Strassen 方法中矩阵乘法次数的减少是否能在分布式矩阵求逆中带来可测量的性能提升？

主要发现

• SPIN 在所有测试的矩阵大小（4096×4096、8192×8192、16384×16384）和块大小下均优于基于 LU 分解的方法，且随着矩阵规模增大，性能差距进一步扩大。
• SPIN 的理论运行时间模型与实际测量结果高度吻合，验证了成本分析的准确性，并解释了块大小与性能呈现 U 型曲线的原因。
• 对于 4096×4096 矩阵，SPIN 相比基于 LU 的基线方法最多将执行时间减少 47%；在小块大小（如 b=2）下，叶节点计算成本占主导；在大块大小（如 b=16）下，矩阵乘法成本占主导。
• SPIN 展现出接近理想的可扩展性，当增加 Spark 执行器数量时，所有矩阵大小下均仅出现微小的偏离理想可扩展性的现象。
• 该方法将每层递归所需的矩阵乘法次数从 LU 方法的 12 次减少至 SPIN 的 6 次，直接降低了计算开销，提升了执行速度。
• 分析表明，执行时间的 U 型曲线源于权衡：随着块大小增加，叶节点求逆成本下降，但递归深度增加导致矩阵乘法成本上升。