[论文解读] Parallelepipeds obtaining HBL lower bounds

James Demmel, Alex Rusciano|arXiv (Cornell University)|Nov 18, 2016

Complexity and Algorithms in Graphs参考文献 4被引用 8

一句话总结

本文提出了一种基于离散 Hölder-Brascamp-Lieb (HBL) 不等式的构造性算法框架，用于在嵌套循环中设计通信最优的分块策略。通过求解 HBL 不等式的对偶线性规划问题，并利用 Smith 标准型分解，该方法构造出平行多面体形状的分块，实现了线性代数核函数中内存访问模式的渐近和精确通信下界。

ABSTRACT

This work studies the application of the discrete Holder-Brascamp-Lieb (HBL) inequalities to the design of communication optimal algorithms. In particular, it describes optimal tiling (blocking) strategies for nested loops that lack data dependencies and exhibit linear memory access patterns. We attain known lower bounds for communication costs by unraveling the relationship between the HBL linear program, its dual, and tile selection. The methods used are constructive and algorithmic. The case when all arrays have one index is explored in depth, as a useful example in which a particularly efficient tiling can be determined.

研究动机与目标

• 设计具有线性内存访问模式的嵌套循环的通信最优分块策略。
• 建立离散 HBL 不等式、其对偶线性规划与最优分块选择之间的构造性联系。
• 通过几何分块构造实现通信成本边界的渐近与精确最优性。
• 提供使用 Smith 标准型和子群分解计算最优分块的算法方法。
• 证明平行多面体分块可达到已知 HBL 通信下界，适用于通信避免算法。

提出的方法

• 将 HBL 不等式表述为在可行权重向量 $ s $ 上的原始线性规划问题，其对偶问题提供通信量的上界。
• 利用 HBL LP 的对偶问题识别最优内存分配比例 $ c_i $，通过拉格朗日乘子法最小化乘积 $ \prod c_i^{s_i} $。
• 应用 Smith 标准型分解整数矩阵（表示线性映射 $ \phi_i $），以计算核空间中的最短整数基向量。
• 将最优分块构造为由核子群导出的基向量张成的整数平行多面体，并按内存参数 $ M $ 缩放。
• 使用算法 1 从子群的独立元素生成分块，确保 $ \mathbb{Z}^d $ 的分块覆盖与内存约束得以满足。
• 通过最小化缩放因子 $ \gamma = \frac{1}{(s_{\text{HBL}})^{s_{\text{HBL}}}} \min_{s \in \mathcal{P}, 1^T s = s_{\text{HBL}}} \prod s_i^{s_i} $ 实现精确最优性，确保 $ |S(M)| = (1-o(1)) \gamma M^{s_{\text{HBL}}} $。

实验结果

研究问题

• RQ1 HBL 不等式能否用于推导通信避免算法中分块的构造性、算法化方法？
• RQ2 如何利用 HBL 线性规划的对偶问题确定跨数据数组的最优内存分配？
• RQ3 何种几何结构（如平行多面体）可实现渐近与精确通信下界？
• RQ4 Smith 标准型与子群分解如何促进整数格点中最优分块的构造？
• RQ5 在何种条件下，分块大小满足 $ |S(M)| = \Theta(M^{s_{\text{HBL}}}) $ 且满足内存约束 $ |\phi_i(S(M))| = O(M) $？

主要发现

• 对于秩-1 映射，本文构造的最优分块为由 $ \phi_i $ 的核中最小整数向量张成的平行多面体，实现 $ |S(M)| = \Theta(M^{s_{\text{HBL}}}) $。
• 当 $ s_i = 1/(k-1) $ 时（$ k $ 个独立的秩-1 核），$ s_{\text{HBL}} = k/(k-1) $，且 $ \gamma = (1/k)^{k/(k-1)} $，此时方法实现精确最优性。
• 分块大小满足 $ |S(M)| = (1-o(1)) \cdot \gamma M^{s_{\text{HBL}}} $，证实了渐近与精确最优性。
• 对于秩-1 映射，分块构造确保 $ \sum_i |\phi_i(S(M))| \leq M $，满足内存约束。
• 该算法流水线——Smith 标准型、核基提取与分块生成——实现了矩阵乘法及类似核函数的通信避免边界。
• 该框架可推广至秩-1 与秩-$(d-1)$ 映射，且在后一情形下对独立核已证明精确最优性。