[论文解读] TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning

Jinlin Xiang, Eli Shlizerman|arXiv (Cornell University)|Jun 17, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

TKIL 提出了一种新颖的类别平衡增量学习方法，采用梯度切线核（GTK）损失来最小化跨任务特征表示之间的差异，同时结合平均权重更新规则以防止过拟合。该方法在 CIFAR-100 和 ImageNet 上实现了最先进性能，任务预测准确率接近完美（高达 99.9%），且在各类别准确率上持续优于现有方法。

ABSTRACT

When learning new tasks in a sequential manner, deep neural networks tend to forget tasks that they previously learned, a phenomenon called catastrophic forgetting. Class incremental learning methods aim to address this problem by keeping a memory of a few exemplars from previously learned tasks, and distilling knowledge from them. However, existing methods struggle to balance the performance across classes since they typically overfit the model to the latest task. In our work, we propose to address these challenges with the introduction of a novel methodology of Tangent Kernel for Incremental Learning (TKIL) that achieves class-balanced performance. The approach preserves the representations across classes and balances the accuracy for each class, and as such achieves better overall accuracy and variance. TKIL approach is based on Neural Tangent Kernel (NTK), which describes the convergence behavior of neural networks as a kernel function in the limit of infinite width. In TKIL, the gradients between feature layers are treated as the distance between the representations of these layers and can be defined as Gradients Tangent Kernel loss (GTK loss) such that it is minimized along with averaging weights. This allows TKIL to automatically identify the task and to quickly adapt to it during inference. Experiments on CIFAR-100 and ImageNet datasets with various incremental learning settings show that these strategies allow TKIL to outperform existing state-of-the-art methods.

研究动机与目标

• 通过在所有类别上保持均衡性能，解决类别增量学习中的灾难性遗忘问题。
• 通过在任务间保持一致的特征表示，减少对最近学习任务的偏差。
• 在推理阶段实现准确的任务预测，以支持对特定任务模型的有效微调。
• 设计一种训练策略，即使在记忆中存在类别不平衡的情况下，也能防止对最新任务的过拟合。
• 提出一种基于神经正切核（NTK）动态的新型损失函数，以协调增量学习各阶段的特征表示。

提出的方法

• 提出一种梯度切线核（GTK）损失，用于度量先前任务和当前任务的特征层梯度之间的距离。
• 在训练过程中最小化 GTK 损失，以对齐跨任务的特征表示并减少差异。
• 采用平均权重更新规则：在单个 mini-batch 内训练每个任务特定的模型，并对权重进行平均，以稳定学习过程并防止过拟合。
• 利用神经正切核（NTK）理论来建模梯度流动动态，即使在有限宽度网络中也能指导表示对齐。
• 训练一个基础模型，能够以高精度预测输入样本的任务，从而在推理阶段实现有效的任务特定微调。
• 将 GTK 损失与知识蒸馏（KD）和记忆回放相结合，以保留先前任务的知识。

实验结果

研究问题

• RQ1 能否从梯度动态中导出的基于核的损失函数，提升增量学习中的类别平衡性能？
• RQ2 GTK 损失如何影响在顺序学习任务中特征表示的一致性与对齐程度？
• RQ3 平均权重更新规则是否能缓解对最新任务的过拟合，并提升各类别的泛化能力？
• RQ4 在推理阶段，能否通过所提方法实现高精度的任务预测？其对微调性能有何影响？
• RQ5 在多个基准测试中，TKIL 与最先进方法相比，在整体准确率、类别平衡准确率和任务预测可靠性方面表现如何？

主要发现

• 在 CIFAR-100 上，TKIL 在 10、20 和 50 个增量阶段中均实现了接近 100% 的任务预测准确率，显著优于基线方法。
• 在 CIFAR-100 的 10 个增量阶段设置下，TKIL 实现了 82.5% 的平均类别准确率，较次优方法高出超过 5 个百分点。
• 在 CIFAR-100 的 20 个增量阶段设置下，TKIL 保持了稳定的准确率曲线，性能下降极小（斜率 ~0.8），而其他方法则表现出显著的性能崩溃。
• 消融实验表明，将 GTK 损失与平均权重规则结合，可在 CIFAR-100 上实现最高的类别准确率（82.5%）和任务预测准确率（99.9%）。
• GTK 损失的最优超参数 γ 为 0.1，该值在保留表示能力与防止对早期或后期任务过拟合之间实现了良好平衡。
• 在 ImageNet 上，TKIL 展现出强大的泛化能力，在多类别增量学习场景中优于现有最先进方法。