[论文解读] What if Neural Networks had SVDs?

Alexander Mathiasen, Frederik Hvilshøj+3 more|arXiv (Cornell University)|Sep 29, 2020

Neural Networks and Applications参考文献 13被引用 4

一句话总结

该论文提出 FastH，一种新颖的并行算法，通过高效计算正交矩阵乘法（基于 Householder 分解）来加速神经网络中的矩阵运算。通过提升 GPU 执行中的并行度，FastH 在保持与现有 SVD 重参数化技术相同的理论时间复杂度和输出结果的前提下，相较于先前的串行方法实现了最高达 27× 的加速。

ABSTRACT

Various Neural Networks employ time-consuming matrix operations like matrix inversion. Many such matrix operations are faster to compute given the Singular Value Decomposition (SVD). Previous work allows using the SVD in Neural Networks without computing it. In theory, the techniques can speed up matrix operations, however, in practice, they are not fast enough. We present an algorithm that is fast enough to speed up several matrix operations. The algorithm increases the degree of parallelism of an underlying matrix multiplication $H\cdot X$ where $H$ is an orthogonal matrix represented by a product of Householder matrices. Code is available at www.github.com/AlexanderMath/fasth .

研究动机与目标

• 为解决神经网络中基于 SVD 的矩阵运算在 GPU 上的性能瓶颈问题。
• 克服先前基于 Householder 的 SVD 重参数化方法中串行内积计算效率低下的问题。
• 设计一种并行算法，在保持与现有方法相同数学输出的同时，显著提升 GPU 硬件上的运行时间性能。
• 为深度学习中矩阵求逆、行列式计算等 SVD 加速运算提供实际的性能提升。
• 提供一种可直接替换现有 SVD 重参数化框架的解决方案，仅需极少代码修改。

提出的方法

• FastH 重构了正交矩阵乘法 $ H \cdot X $ 的计算过程，其中 $ H $ 是 $ d $ 个 Householder 矩阵的乘积，以提升并行度。
• 与依次应用 $ d $ 个 Householder 变换不同，FastH 重新组织计算流程，减少串行依赖，更好地利用 GPU 核心。
• 对于大小为 $ m $ 的小批量数据，该算法执行 $ O(d/m + m) $ 次串行矩阵-矩阵运算，将串行内积次数从 $ O(d) $ 显著减少。
• FastH 使用 CUDA 实现，以充分挖掘 GPU 的并行潜力，避免基于 Python 的实现所受的性能限制。
• 该方法保持与先前 SVD 重参数化技术相同的数学输出，确保与现有模型的兼容性。
• 提供了与 PyTorch 兼容的实现，用户仅需通过极少代码更改，即可将 `nn.Linear` 替换为 `LinearSVD`。

实验结果

研究问题

• RQ1 能否设计一种并行算法，在不增加时间复杂度的前提下，加速神经网络中基于 Householder 的矩阵乘法？
• RQ2 为何先前的 SVD 重参数化方法尽管具有有利的理论时间复杂度，却在 GPU 上无法实现实际的性能加速？
• RQ3 在涉及正交矩阵的 GPU 加速矩阵运算中，增加并行度能在多大程度上缓解串行瓶颈？
• RQ4 能否在现代硬件上实现显著提升的运行时间，同时保持与现有 SVD 重参数化方法相同的数学输出？
• RQ5 是否可能在深度学习中为矩阵求逆、行列式计算等 SVD 加速运算实现实际的性能加速？

主要发现

• 在 GPU 硬件上的矩阵求逆基准测试中，FastH 相较于 [17] 中的串行算法最高实现 27× 的加速。
• 该算法将串行操作次数从 $ O(d) $ 次内积减少至 $ O(d/m + m) $ 次矩阵-矩阵运算，显著提升了 GPU 核心利用率。
• FastH 保持与先前方法相同的输出结果和理论时间复杂度，确保正确性，并与现有 SVD 重参数化框架完全兼容。
• CUDA 实现使 GPU 并行能力得到充分发挥，克服了基于 CPU 或串行方法的性能瓶颈。
• 该方法与现有深度学习模型兼容，仅需一行代码更改即可无缝集成到 PyTorch 工作流中。
• 通过缩短计算时间，FastH 降低了能耗与碳排放，尤其使计算资源有限的研究人员受益。