[论文解读] Rank-Accuracy Trade-off for LoRA: A Gradient-Flow Analysis

Michael Rushka, Diego Klabjan|arXiv (Cornell University)|Feb 10, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

本文推导了 LoRA 的连续时间梯度流动（GF）动力学，证明秩 r 的 LoRA 在迹平方目标下能够实现最终损失为零，并在低秩近似中显示收敛到前 r 个奇值，将 LoRA 的秩与精度通过显式的 GF 分析联系起来。

ABSTRACT

Previous empirical studies have shown that LoRA achieves accuracy comparable to full-parameter methods on downstream fine-tuning tasks, even for rank-1 updates. By contrast, the theoretical underpinnings of the dependence of LoRA's accuracy on update rank remain relatively unexplored. In this work, we compare the accuracy of rank-r LoRA updates against full-parameter updates for fine-tuning tasks from a dynamical systems perspective. We perform gradient flow analysis in both full-rank and low-rank regimes to establish explicit relationships between rank and accuracy for two loss functions under LoRA. While gradient flow equations for LoRA are presented in prior work, we rigorously derive their form and show that they are identical for simultaneous and sequential LoRA parameter updates. We then use the resulting dynamical system equations to obtain closed-form relationships between LoRA rank and accuracy for trace-squared and Frobenius-norm low-rank approximation loss functions.

研究动机与目标

• 激励参数高效微调（PEFT），并理解 LoRA 的精度如何依赖于更新秩。
• 为 LoRA 构建一个严格的梯度流动（GF）框架，使其对同时更新与顺序更新不变。
• 推导迹平方损失与低秩近似损失的闭式 GF 解，以刻画秩–精度的权衡。

提出的方法

• 将 LoRA 表述为用 BA 对 W0 的近似进行更新，在连续时间 GF 极限下实现。
• 推导并证明 GF 动力学在同时更新与顺序更新下是相同的（λ 参数与迭代内更新的 k 的影响）。
• 对迹平方损失 min_B,A 1/2 Tr^2(W0−BA) 求 GF，得到显式的最终损失和随秩 r 的近似误差。
• 分析标准的低秩近似 min_B,A 1/2||W0−BA||^2 的 GF，显示在光谱初始化下收敛到 W0 的前 r 个奇值。
• 证明在光谱初始化下，BA 的非零奇值收敛到 W0 的前 r 个奇值（Eckart–Young–Mirsky）。

实验结果

研究问题

• RQ1 LoRA 的最终损失在迹平方和低秩近似目标下如何依赖于秩 r？
• RQ2 GF 动力学是否可给出闭式、与秩相关的准确性与近似误差关系？
• RQ3 在梯度流下，LoRA 的更新是否对同时更新与顺序更新方案具有不变性？
• RQ4 在适当初始化下，LoRA 是否达到由经典矩阵近似理论（EYM）所表征的最优秩-r 近似？

主要发现

• 对于迹平方目标，LoRA 的 GF 动力学在任意秩 r<n 下收敛到最终损失为零。
• 在标准初始化下的 LoRA GF，收敛解与全秩解之间的相对近似误差至少衰减为 r^(-1/2)。
• 对于低秩近似，LoRA GF 收敛到 Eckart–Young–Mirsky 的最优秩-r 最小化解，最终损失等于 W0 谱的尾部（被舍弃的特征值平方和的和）。
• 在光谱初始化下，BA 的非零奇值收敛到 W0 的前 r 个奇值，使 YX 在收敛时与 W0 的前 r 分量对齐。
• 相对近似误差有一个精确形式（可视为范数(YX−U) 相对于 U 的比值），在高斯初始化下的期望可被界定为随 sqrt((n^2+n−2)/(nr+2)) 的项。
• 分析将 LoRA 的秩参数与经典低秩近似理论联系起来，显示由 W0 谱支配的秩相关权衡。