[论文解读] On The Relationship Between Continual Learning and Long-Tailed Recognition

Mahdiyar Molahasani, Michael Greenspan+1 more|arXiv (Cornell University)|Jun 23, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本论文提出了一套统一框架，通过利用持续学习（CL）来提升长尾识别（LTR）性能，即先在头部类别上进行训练，然后顺序学习尾部类别而不遗忘。理论上，在强凸性条件下，全数据集权重相对于仅头部类别的权重处于有界范围内；实验上，标准CL方法在CIFAR100-LT、CIFAR10-LT以及真实世界Caltech256数据集上均优于当前最先进（SOTA）的LTR模型。

ABSTRACT

Real-world datasets often exhibit long-tailed distributions, where a few dominant "Head" classes have abundant samples while most "Tail" classes are severely underrepresented, leading to biased learning and poor generalization for the Tail. We present a theoretical framework that reveals a previously undescribed connection between Long-Tailed Recognition (LTR) and Continual Learning (CL), the process of learning sequential tasks without forgetting prior knowledge. Our analysis demonstrates that, for models trained on imbalanced datasets, the weights converge to a bounded neighborhood of those trained exclusively on the Head, with the bound scaling as the inverse square root of the imbalance factor. Leveraging this insight, we introduce Continual Learning for Long-Tailed Recognition (CLTR), a principled approach that employs standard off-the-shelf CL methods to address LTR problems by sequentially learning Head and Tail classes without forgetting the Head. Our theoretical analysis further suggests that CLTR mitigates gradient saturation and improves Tail learning while maintaining strong Head performance. Extensive experiments on CIFAR100-LT, CIFAR10-LT, ImageNet-LT, and Caltech256 validate our theoretical predictions, achieving strong results across various LTR benchmarks. Our work bridges the gap between LTR and CL, providing a principled way to tackle imbalanced data challenges with standard existing CL strategies.

研究动机与目标

• 解决长尾数据集中由于数据分布不均导致头部类别主导训练，从而造成罕见类别性能差的问题。
• 通过证明在强凸性条件下，全数据集权重与仅头部类别权重之间的距离有界，从理论上证明使用CL进行LTR的合理性。
• 展示CL方法可在不造成头部知识灾难性遗忘的前提下，有效学习尾部类别。
• 在合成数据集（MNIST-LT）、基准数据集（CIFAR100-LT、CIFAR10-LT）和真实世界数据集（Caltech256）上验证该方法的有效性。
• 表明标准CL技术在自然数据不平衡场景下可超越专门设计的SOTA LTR模型。

提出的方法

• 提出一个定理：在强凸性条件下，全数据集训练得到的权重向量与仅头部类别训练的权重向量之间的距离，与数据不平衡因子成正比，与强凸性参数成反比。
• 将LTR建模为两阶段持续学习问题：首先在头部数据集上进行训练，然后使用CL方法对尾部数据集进行顺序微调。
• 应用标准CL算法（如弹性权重整合EWC、知识蒸馏和梯度路径法GPM）在尾部类别上更新模型，同时保持头部类别的性能。
• 采用改进的EWC变体，仅约束权重更新的方向，从而实现更均匀的权重分布，同时不抑制模型的可塑性。
• 使用平衡测试准确率评估性能，将基于CL的模型与SOTA LTR基线模型及专门的损失正则化方法进行对比。
• 在MNIST-LT（玩具数据集）、CIFAR100-LT和CIFAR10-LT（基准数据集）以及Caltech256（真实世界数据集）上进行实验，涵盖不同不平衡因子。

Figure 1: An overview of learning under the LTR scenario and our proposed algorithm is presented. Detailed description provided in text.

实验结果

研究问题

• RQ1 在受控环境下，强凸性条件下全数据集与仅头部类别训练的权重距离的理论边界是否能通过实验得到验证？
• RQ2 标准持续学习方法在不进行显式重平衡或损失函数修改的情况下，能在多大程度上提升长尾识别性能？
• RQ3 将CL应用于自然数据不平衡的真实世界数据集（如Caltech256）是否能带来相比SOTA LTR模型的性能提升？
• RQ4 基于CL的LTR方法在标准基准数据集上与专门基于损失函数或数据重平衡的方法相比，性能如何？
• RQ5 在实际应用中，强凸性假设是否必要？当该条件被放松时，CL方法是否仍保持有效性？

主要发现

• 在MNIST-LT上，仅头部类别与全数据集权重向量之间的实际距离与理论上的上界高度吻合，验证了该定理。
• 在CIFAR100-LT和CIFAR10-LT上，CL方法的平衡准确率高于基线模型，并接近或超过SOTA LTR方法，即使未进行任务特定的损失修改。
• 在CIFAR100-LT上，改进的EWC CL方法在ResNet101和Inception V4上分别取得了87.56%和88.9%的top-1准确率，优于SOTA模型TransTailor（ResNet101上为87.3%）。
• 在自然不平衡的Caltech256数据集上（不平衡因子>10），基于CL的方法优于当前最先进的非CL模型，证明了其在真实世界场景中的适用性。
• 即使强凸性假设被放松，该方法依然有效，表明其对非凸深度学习损失函数具有鲁棒性。
• 基于GPM的CL方法实现了更均匀的权重分布，且无需显式正则化，表明CL在长尾设置下天然促进平衡学习。

Figure 2: The distance between $\theta^{*}$ and $\theta^{*}_{H}$ in different IF and $\mu$ .