[论文解读] The MOMMS Family of Matrix Multiplication Algorithms

Tyler Smith, Robert A. Geijn|arXiv (Cornell University)|Apr 11, 2019

Parallel Computing and Optimization Techniques参考文献 22被引用 8

一句话总结

本文提出了MOMMS矩阵乘法算法家族，这是一种新颖的缓存优化算法族，旨在在日益受限于内存带宽的架构中超越Goto的算法。通过战略性地重新组织跨多个缓存层级（尤其是L3）的数据访问模式，MOMMS算法降低了I/O开销，并在低带宽系统中提升了性能，实证结果表明在内存受限场景下，其性能最高可达Goto算法的2倍。

ABSTRACT

As the ratio between the rate of computation and rate with which data can be retrieved from various layers of memory continues to deteriorate, a question arises: Will the current best algorithms for computing matrix-matrix multiplication on future CPUs continue to be (near) optimal? This paper provides compelling analytical and empirical evidence that the answer is "no". The analytical results guide us to a new family of algorithms of which the current state-of-the-art "Goto's algorithm" is but one member. The empirical results, on architectures that were custom built to reduce the amount of bandwidth to main memory, show that under different circumstances, different and particular members of the family become more superior. Thus, this family will likely start playing a prominent role going forward.

研究动机与目标

• 解决现代CPU中计算速度与内存带宽之间日益扩大的性能差距。
• 开发一种新型矩阵乘法算法家族，在内存受限条件下超越现有最先进方法（如Goto的算法）。
• 分析并优化分层内存系统中跨多个缓存层级（L1、L2、L3）的数据移动权衡。
• 通过实证验证，不同MOMMS变体在不同矩阵形状和内存带宽条件下均优于Goto的算法。
• 通过在多级缓存环境中实现I/O最优算法，为未来高性能线性代数库奠定基础。

提出的方法

• 将MOMMS家族作为Goto算法的泛化，整合了在L1、L2和L3缓存中多级循环分块与数据分块。
• 使用理论I/O下界模型（2mnk/√M）指导算法设计，确保数据移动接近最优。
• 设计了三种核心MOMMS变体——A3B2C0、B3A2C0和C3A2C0——通过将计算与最有效的缓存层级对齐，分别优化不同矩阵维度区间。
• 采用分层矩阵存储结构，避免数据打包，以减少内存占用和TLB压力。
• 在每个缓存层级上采用双层循环结构，以最大化数据重用并最小化冗余内存传输。
• 在可调内存带宽的定制硬件上验证性能，隔离内存I/O对算法性能的影响。

实验结果

研究问题

• RQ1 在内存带宽与计算比恶化时，Goto的算法在何种条件下会变得次优？
• RQ2 如何重构矩阵乘法算法，以同时最优地利用多个缓存层级（L1、L2、L3）？
• RQ3 在不同矩阵形状和缓存配置下，哪种MOMMS变体（A3B2C0、B3A2C0、C3A2C0）能实现最佳性能？
• RQ4 I/O优化算法在多大程度上可降低矩阵乘法中的能耗？
• RQ5 MOMMS框架能否扩展至外存计算及其他密集线性代数运算？

主要发现

• 在低带宽定制架构上，MOMMS C3A2C0变体在GFLOPS指标上最高达到Goto算法的2倍，显著降低了I/O开销。
• 当匹配L3缓存大小的矩阵维度（≈√M³）较大时，对应的MOMMS变体（如m ≈ n ≈ √M³时的C3A2C0）实现了峰值性能。
• 即使对特定矩阵形状并非最优，MOMMS算法的I/O开销也仅比最优算法高50%，而Goto的算法I/O开销则高出约2倍。
• 在内存受限条件下，随着问题规模增大，Goto算法与MOMMS变体之间的性能差距进一步扩大。
• MOMMS家族在多种不同矩阵形状下均保持高性能，表明当两个维度至少为√M³且第三个维度较大时，其具有良好的鲁棒性。
• 结果表明，未来线性代数库应采用MOMMS风格的算法，以延迟内存瓶颈的出现。