[论文解读] QR and LQ Decomposition Matrix Backpropagation Algorithms for Square, Wide, and Deep -- Real or Complex -- Matrices and Their Software Implementation

Denisa Roberts, Lucas Roberts|arXiv (Cornell University)|Sep 19, 2020

Sparse and Compressive Sensing Techniques参考文献 20被引用 6

一句话总结

本文提出了一种新颖的可微 QR 和 LQ 分解反向传播算法，适用于任意形状（方阵、宽矩阵或长矩阵）的实数和复数矩阵，实现了数值稳定且高效的梯度计算。核心贡献是通过一种分块技巧系统地推导出公式，并已完整集成至 PyTorch、TensorFlow 和 MXNet，支持端到端深度学习。

ABSTRACT

This article presents matrix backpropagation algorithms for the QR decomposition of matrices $A_{m, n}$, that are either square (m = n), wide (m < n), or deep (m > n), with rank $k = min(m, n)$. Furthermore, we derive novel matrix backpropagation results for the pivoted (full-rank) QR decomposition and for the LQ decomposition of deep input matrices. Differentiable QR decomposition offers a numerically stable, computationally efficient method to solve least squares problems frequently encountered in machine learning and computer vision. Other use cases such as graph learning and network compression are listed in the article. Software implementation across popular deep learning frameworks (PyTorch, TensorFlow, MXNet) incorporate the methods for general use within the deep learning community. Furthermore, this article aids the practitioner in understanding the matrix backpropagation methodology as part of larger computational graphs.

研究动机与目标

• 通过为所有矩阵形状提供完整、可微的 QR 和 LQ 分解反向传播，填补深度学习框架中的空白。
• 为深度、方阵和宽矩阵的 QR 和 LQ 分解推导出解析正确的梯度公式，包括复数和带枢轴（pivoted）的情形。
• 在机器学习和计算机视觉应用中，实现稳定高效的最小二乘求解与矩阵分解。
• 支持涉及 QR 和 LQ 分解的计算图中的端到端可微计算。
• 为实数和复数矩阵，在 PyTorch、TensorFlow 和 MXNet 中提供开源、可投入生产环境的实现。

提出的方法

• 通过将 R 矩阵划分为满秩子矩阵的分块技巧，推导出 QR 分解的解析反向传播梯度。
• 将相同的分块技术应用于推导深度矩阵的新型 LQ 分解反向传播，实现通过 LQ 分解的梯度流动。
• 利用矩阵微积分和迹恒等式，结合共轭转置（Hermitian conjugate）处理复数矩阵导数，正确处理共轭项。
• 引入校正项（例如 ℒ = iℑ(diag(M))) 以解决复数梯度推导中的不一致性，确保正确性。
• 底层使用标准的 LAPACK 和 CuSolver 常规计算，封装于可微 autograd 接口，适配深度学习框架。
• 通过中心差分和数值检验验证结果，确保在所有矩阵类型和形状下的正确性。

实验结果

研究问题

• RQ1 如何为所有矩阵形状（方阵、宽矩阵、长矩阵）的实数和复数矩阵，系统推导出 QR 分解的解析梯度？
• RQ2 深度矩阵的 LQ 分解反向传播梯度的正确解析形式是什么？如何系统地推导出该形式？
• RQ3 在存在共轭转置的情况下，如何校正复数矩阵反向传播中的数值不稳定或错误？
• RQ4 分块技巧在简化非满秩或结构化矩阵梯度推导中起到什么作用？
• RQ5 如何高效且正确地将这些可微矩阵分解集成到 PyTorch、TensorFlow 和 MXNet 等主流深度学习框架中？

主要发现

• 本文为所有矩阵形状（方阵、宽矩阵、长矩阵）的 QR 和 LQ 分解推导出新颖且解析正确的反向传播公式，适用于实数和复数矩阵。
• 通过分块技巧，为深度矩阵推导出新型 LQ 反向传播算法，使此前不支持的场景中实现梯度计算。
• 复数 QR 反向传播推导中引入校正项 ℒ = iℑ(diag(M))，解决了早期公式中的不一致性，确保正确性。
• 通过中心差分对推导的梯度进行数值验证，确认在各种矩阵配置和形状下的准确性。
• 该方法已成功实现，并已原生集成至 PyTorch、TensorFlow 和 MXNet，支持 CPU 和 GPU、批量处理及所有矩阵类型。
• 软件集成支持深度学习流水线中的端到端可微计算，适用于图学习、模型压缩和高斯过程等应用。