[论文解读] Scalable Analytic Classifiers with Associative Drift Compensation for Class-Incremental Learning of Vision Transformers

Xuan Rao, Mingming Ha+3 more|arXiv (Cornell University)|Jan 29, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

该论文提出 LR-RGDA，一种通过低秩扰动降低 RGDA 复杂度的可扩展分析分类器，以及 HopDC，一种使用连续 Hopfield 网络的无需训练的漂移补偿器，在 Vision Transformers 的类别增量学习中达到最先进水平。

ABSTRACT

Class-incremental learning (CIL) with Vision Transformers (ViTs) faces a major computational bottleneck during the classifier reconstruction phase, where most existing methods rely on costly iterative stochastic gradient descent (SGD). We observe that analytic Regularized Gaussian Discriminant Analysis (RGDA) provides a Bayes-optimal alternative with accuracy comparable to SGD-based classifiers; however, its quadratic inference complexity limits its use in large-scale CIL scenarios. To overcome this, we propose Low-Rank Factorized RGDA (LR-RGDA), a scalable classifier that combines RGDA's expressivity with the efficiency of linear classifiers. By exploiting the low-rank structure of the covariance via the Woodbury matrix identity, LR-RGDA decomposes the discriminant function into a global affine term refined by a low-rank quadratic perturbation, reducing the inference complexity from $\mathcal{O}(Cd^2)$ to $\mathcal{O}(d^2 + Crd^2)$, where $C$ is the class number, $d$ the feature dimension, and $r \ll d$ the subspace rank. To mitigate representation drift caused by backbone updates, we further introduce Hopfield-based Distribution Compensator (HopDC), a training-free mechanism that uses modern continuous Hopfield Networks to recalibrate historical class statistics through associative memory dynamics on unlabeled anchors, accompanied by a theoretical bound on the estimation error. Extensive experiments on diverse CIL benchmarks demonstrate that our framework achieves state-of-the-art performance, providing a scalable solution for large-scale class-incremental learning with ViTs. Code: https://github.com/raoxuan98-hash/lr_rgda_hopdc.

研究动机与目标

• 在 Vision Transformers 的类别增量学习（CIL）中解决分类器重建的效率–准确性权衡。
• 开发可扩展的分析分类器，在降低推理成本的同时保留 RGDA 的表达能力。
• 在不需要额外训练的情况下缓解 backbone 更新引起的表示漂移。
• 提供一个无需训练的机制，在漂移情况下重新校准历史类别统计。
• 在多样的 ViT backbones 和 CIL 策略下展示最先进的性能。

提出的方法

• 通过建模类别协方差为全局基底加上类别特异的低秩扰动，开发 Low-Rank Factorized RGDA (LR-RGDA)。
• 应用 Woodbury 矩阵恒等式高效求逆正则化协方差，降低推理复杂度。
• 将 LR-RGDA 判别式分解为全局仿射项加上在维度 r 的子空间中的类别特异低秩二次修正（r << d）。
• 给出明确的判别式分解：g_c^{LR-RGDA}(x) = L_c(x) + Q_c(x)，其中 L_c 使用 B^{-1} mu_c，Q_c 涉及一个小的 r×r 矩阵 M_c^{-1} 与投影。
• 引入 HopDC，一种无需训练的漂移补偿器，利用现代连续 Hopfield 网络通过无标签锚点将历史类别统计与当前特征空间对齐。
• 证明 HopDC 的基于注意力的检索所产生的漂移估计误差上界，与漂移函数的 Lipschitz 连续性及锚点密度相关。

实验结果

研究问题

• RQ1 LR-RGDA 是否在大幅降低 RGDA 推理成本的同时实现贝叶斯最优性能？
• RQ2 如何在不进行额外训练的情况下纠正 backbone 更新引起的表示漂移？
• RQ3 HopDC 能否可靠地给出漂移估计误差的上界并在不同 backbone 策略下改善 CIL 性能？
• RQ4 LR-RGDA + HopDC 框架在多样的 ViT backbones 和 Stage-1 自适应方法中是否具有鲁棒性？

主要发现

• LR-RGDA 通过使用类别特异的低秩扰动和 Woodbury 逆，将推理复杂度由 O(C d^2) 降至 O(d^2 + C r d)。
• 判别函数分解为全局仿射项加上在 r 维子空间中的类别特异二次修正，保留 RGDA 的表达能力但成本大幅降低。
• HopDC 通过使用无标签锚点的联想记忆模型漂移，提供无需训练的历史统计量校准，并对估计有一个形式化误差界限。
• 经验结果在多种 ViT backbones 和 Stage-1 策略下显示最先进的性能，且使用 HopDC 时有显著提升。
• LR-RGDA 在跨域与同领域 CIL 基准测试中持续优于基于 SGD 的分类器，HopDC 在塑性骨干网络中进一步提升性能。