[论文解读] Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition from a Domain Adaptation Perspective

Muhammad Abdullah Jamal, Matthew A. Brown+3 more|arXiv (Cornell University)|Mar 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 59被引用 29

一句话总结

本文通过将长尾视觉识别问题重新构架为领域自适应问题，特别是针对目标分布偏移（target shift）进行研究。提出一种元学习方法，显式估计并校正训练集（源域）与推理集（目标域）之间在类别条件分布上的差异，尤其针对低频的尾部类别，从而在六个基准数据集上实现当前最优性能，并持续优于现有方法。

ABSTRACT

Object frequency in the real world often follows a power law, leading to a mismatch between datasets with long-tailed class distributions seen by a machine learning model and our expectation of the model to perform well on all classes. We analyze this mismatch from a domain adaptation point of view. First of all, we connect existing class-balanced methods for long-tailed classification to target shift, a well-studied scenario in domain adaptation. The connection reveals that these methods implicitly assume that the training data and test data share the same class-conditioned distribution, which does not hold in general and especially for the tail classes. While a head class could contain abundant and diverse training examples that well represent the expected data at inference time, the tail classes are often short of representative training data. To this end, we propose to augment the classic class-balanced learning by explicitly estimating the differences between the class-conditioned distributions with a meta-learning approach. We validate our approach with six benchmark datasets and three loss functions.

研究动机与目标

• 从领域自适应视角分析长尾视觉识别问题，特别关注目标分布偏移的假设。
• 识别现有类别平衡方法中隐含的假设：源域与目标域的类别条件分布相同，但该假设在尾部类别上不成立。
• 通过元学习显式建模源域与目标域类别条件分布之间的差异，提升长尾识别性能。
• 设计一种双组件加权机制，联合优化类别权重与条件权重，以实现更好的泛化能力。
• 在多种损失函数下，于多样化基准数据集（包括ImageNet-LT、Places-LT和iNaturalist）上验证该方法的有效性。

提出的方法

• 将长尾分类问题重新定义为领域自适应中的目标分布偏移问题，其中源域具有长尾类别分布，而目标域假设为类别均衡。
• 提出一种双组件加权机制：类别权重用于平衡类别频率，条件权重用于校正每个类别在训练与推理数据之间的分布偏移。
• 采用元学习框架联合优化两类权重，其中内循环使用当前权重训练模型，外循环根据验证集性能更新权重。
• 采用两阶段训练流程：先使用交叉熵损失进行预训练，再使用元学习得到的权重进行微调，以提升对尾部类别的泛化能力。
• 将方法应用于交叉熵损失、焦点损失（focal loss）和LDAM损失，证明在不同损失函数下均能获得一致性能提升。
• 提出一种变体方法，在元学习过程中仅更新分类层，进一步提升在长尾数据集上的性能。

实验结果

研究问题

• RQ1 在长尾视觉识别中，源域与目标域的类别条件分布相等的假设是否对尾部类别成立？
• RQ2 显式建模训练与推理数据之间的分布偏移是否能提升长尾数据集上的性能？
• RQ3 与标准类别平衡方法相比，元学习联合优化类别权重与条件权重的策略表现如何？
• RQ4 所提方法是否能在不同损失函数与基准数据集上实现良好泛化？
• RQ5 条件权重与类别权重在提升尾部类别准确率方面各自贡献如何？

主要发现

• 在iNaturalist 2018数据集上，该方法将top-1错误率降低至70.10%，相比类别平衡交叉熵损失降低2%，相比原始交叉熵损失降低4.3%。
• 在Places-LT数据集上，该方法达到62.90%的top-1错误率，与SOTA方法OLTR（64.1%）和cRT（63.3%）相比达到或超越其性能。
• 在ImageNet-LT数据集上，相比原始交叉熵损失提升3.33%，相比类别平衡交叉熵损失提升2.33%。
• 消融实验表明，若移除类别权重或条件权重，性能均出现下降，证实两类权重的必要性。
• 该方法在全部六个基准数据集（包括CIFAR-LT、ImageNet-LT、Places-LT和iNaturalist 2017/2018）上持续优于类别平衡训练方法。
• 在元学习过程中仅微调分类层的策略进一步提升性能，表明优化策略选择对性能具有关键影响。