[论文解读] ResLT: Residual Learning for Long-tailed Recognition

Jiequan Cui, Shu Liu+3 more|arXiv (Cornell University)|Jan 26, 2021

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

该论文提出ResLT，一种新颖的残差学习框架，用于长尾图像识别，通过直接在头部、中等和尾部类别之间重新平衡模型参数。它引入了一种三分支残差融合机制——其中主干分支处理所有类别，而两个逐步专业化的残差分支分别增强中等+尾部类别和尾部类别的识别能力——在CIFAR、ImageNet、Places和iNaturalist基准上实现了最先进的准确率，并且相对于先前方法持续提升了性能。

ABSTRACT

Deep learning algorithms face great challenges with long-tailed data distribution which, however, is quite a common case in real-world scenarios. Previous methods tackle the problem from either the aspect of input space (re-sampling classes with different frequencies) or loss space (re-weighting classes with different weights), suffering from heavy over-fitting to tail classes or hard optimization during training. To alleviate these issues, we propose a more fundamental perspective for long-tailed recognition, i.e., from the aspect of parameter space, and aims to preserve specific capacity for classes with low frequencies. From this perspective, the trivial solution utilizes different branches for the head, medium, and tail classes respectively, and then sums their outputs as the final results is not feasible. Instead, we design the effective residual fusion mechanism -- with one main branch optimized to recognize images from all classes, another two residual branches are gradually fused and optimized to enhance images from medium+tail classes and tail classes respectively. Then the branches are aggregated into final results by additive shortcuts. We test our method on several benchmarks, i.e., long-tailed version of CIFAR-10, CIFAR-100, Places, ImageNet, and iNaturalist 2018. Experimental results manifest the effectiveness of our method. Our code is available at https://github.com/jiequancui/ResLT.

研究动机与目标

• 解决真实世界数据集中类别不平衡严重降低模型性能的长尾识别问题。
• 克服现有输入空间（重采样）和损失空间（重加权）方法导致的过拟合或优化困难的局限性。
• 通过直接重新平衡模型参数，提出一种根本性的新方法，同时保留对低频类别的专业化能力。
• 设计一种有效的残差融合机制，在不损害头部类别准确率的前提下提升尾部类别性能。

提出的方法

• 引入三分支架构：一个主干分支（N_h+m+t）在所有类别上进行训练，以及两个残差分支（N_m+t 和 N_t）分别逐步专业化于中等+尾部类别和尾部类别。
• 使用加法捷径聚合来自所有三个分支的输出，实现逐步增强尾部类别识别的残差学习。
• 通过确保头部、中等和尾部类别在其各自分支中仍占主导地位，来维持参数专业化。
• 使用标准优化方法端到端训练整个网络，避免复杂的两阶段训练或知识蒸馏。
• 将该框架应用于标准CNN（如ResNet、ResNeXt），除残差融合设计外无需对架构进行任何修改。
• 在主干分支中使用带类别权重的标准交叉熵损失，而残差分支则从主干分支的残差误差中学习。

实验结果

研究问题

• RQ1 在头部、中等和尾部类别之间直接重新平衡模型参数，能否提升长尾识别性能？
• RQ2 一种逐步增强尾部类别识别能力的残差融合机制，是否优于标准的重采样和重加权策略？
• RQ3 在共享架构中能否在不使模型对尾部类别过拟合的情况下保留参数专业化？
• RQ4 所提出方法在多样化的长尾基准上，与当前最先进的一阶段和两阶段方法相比表现如何？

主要发现

• 在ImageNet-LT上，使用ResNeXt-50的ResLT在180个周期内达到57.6%的top-1准确率，比RIDE高出1.6%，比SOTA方法高出1.0–1.4%。
• 在Places-LT上，ResLT达到39.8%的top-1准确率，比之前的SOTA解耦方法高出1.9%。
• 在iNaturalist 2018上，使用ResNet-152的ResLT达到73.2%的top-1准确率，在相同训练调度下比SOTA高出0.7%。
• 在CIFAR-100-LT（不平衡比为0.01）上，使用RIDEResNet的ResLT达到49.73%的top-1准确率，超过RIDE。
• ResLT保持了极低的推理开销——仅增加0.04G FLOPs和每批64张图像17.2ms的推理时间，相比RIDE。
• 消融研究证实，参数专业化和残差学习机制对性能提升均至关重要。