[论文解读] Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation

Hao Gu, Mao-Lin Luo+4 more|arXiv (Cornell University)|Jan 31, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

论文表明非平衡的低秩任务更新（如在 LoRA 中）会在连续学习中带来遗忘，并提出 EBLoRA，通过受限的斯蒂芬尔流形优化在组件之间实现能量平衡。

ABSTRACT

Parameter-efficient continual learning aims to adapt pre-trained models to sequential tasks without forgetting previously acquired knowledge. Most existing approaches treat continual learning as avoiding interference with past updates, rather than considering what properties make the current task-specific update naturally preserve previously acquired knowledge. From a knowledge-decomposition perspective, we observe that low-rank adaptations exhibit highly imbalanced singular value spectra: a few dominant components absorb most of the adaptation energy, thereby (i) more likely to disrupt previously acquired knowledge and (ii) making the update more vulnerable to interference from subsequent tasks. To enable explicit balance among components, we decouple the magnitude of the task update from its directional structure and formulate it as a constrained optimization problem on a restricted Stiefel manifold. We address this problem using a projected first-order method compatible with standard deep-learning optimizers used in vision-language models. Our method mitigates both backward and forward forgetting, consistently outperforming continual learning baselines. The implementation code is available at https://github.com/haodotgu/EBLoRA.

研究动机与目标

• 通过考察低秩任务更新的内部结构， motivating vision-language 模型的连续学习。
• 识别 LoRA 更新中奇异值谱的失衡如何导致遗忘和跨任务干扰。
• 提出一种约束优化框架，将更新幅度与方向结构解耦，以平衡知识组件。
• 提供与标准深度学习流程兼容的优化算法，并展示改进的连续学习性能。

提出的方法

• 将任务更新建模为 Delta-W_t = s_t U_t V_t^T，其中 s_t 控制幅度，U_t、V_t 的列正交。
• 将更新限制在带有对先前任务梯度正交性的受限斯蒂芬尔流形上，以降低干扰。
• 将训练形式化为在 R x M_t x St(d,r) 上的受限优化，并通过与 SGD/Adam 兼容的投影一阶方法求解。
• 引入实用的初始化与深度感知的能量缩放，以在跨任务中稳定优化。

实验结果

研究问题

• RQ1 低秩自适应中的任务更新的哪些内部属性影响遗忘和跨任务干扰？
• RQ2 我们能否在知识组件之间平衡适应能量的分布，以改善持续学习？
• RQ3 将幅度与方向解耦并强制梯度正交是否能同时减少向后遗忘和向前转移？
• RQ4 在标准深度学习训练循环中，是否可行高效地优化这种受限更新？

主要发现

• LoRA 更新表现出高度不平衡的奇异值谱，一些主导组件吸收了大部分自适应能量。
• 谱不平衡放大跨任务干扰并增加对后续任务的易感性。
• 通过 s_t U_t V_t^T 和正交性约束（受限斯蒂芬尔流形）在组件之间平衡能量，可降低向后遗忘并提升向前转移。
• EBLoRA 在 UCIT 和 MLLM-DCL 基准测试中的 MFN 和 FWT 指标优于基线，同时保持可适应性。
• 消融实验显示梯度正交性和深度感知初始化比仅能量平衡带来额外性能提升。