[论文解读] To Balance or Not to Balance: A Simple-yet-Effective Approach for Learning with Long-Tailed Distributions

Junjie Zhang, Lingqiao Liu+2 more|arXiv (Cornell University)|Dec 10, 2019

Video Surveillance and Tracking Methods参考文献 38被引用 13

一句话总结

本文提出了一种简单但有效的辅助学习框架，通过解耦特征提取与分类训练，以解决长尾视觉识别问题：分类器采用类别平衡采样进行训练，以优先关注尾部类别；而特征提取器则通过常规随机采样与自监督学习联合训练，以防止过拟合。该方法在不使用复杂组件的情况下，在长尾数据集上实现了最先进性能。

ABSTRACT

Real-world visual data often exhibits a long-tailed distribution, where some ''head'' classes have a large number of samples, yet only a few samples are available for ''tail'' classes. Such imbalanced distribution causes a great challenge for learning a deep neural network, which can be boiled down into a dilemma: on the one hand, we prefer to increase the exposure of tail class samples to avoid the excessive dominance of head classes in the classifier training. On the other hand, oversampling tail classes makes the network prone to over-fitting, since head class samples are often consequently under-represented. To resolve this dilemma, in this paper, we propose a simple-yet-effective auxiliary learning approach. The key idea is to split a network into a classifier part and a feature extractor part, and then employ different training strategies for each part. Specifically, to promote the awareness of tail-classes, a class-balanced sampling scheme is utilised for training both the classifier and the feature extractor. For the feature extractor, we also introduce an auxiliary training task, which is to train a classifier under the regular random sampling scheme. In this way, the feature extractor is jointly trained from both sampling strategies and thus can take advantage of all training data and avoid the over-fitting issue. Apart from this basic auxiliary task, we further explore the benefit of using self-supervised learning as the auxiliary task. Without using any bells and whistles, our model achieves superior performance over the state-of-the-art solutions.

研究动机与目标

• 解决长尾视觉识别中的训练困境，即平衡样本会增加过拟合风险，而忽略类别不平衡则会导致尾部类别性能差。
• 在不依赖复杂数据增强或损失重加权的情况下，提升深度网络中的特征表示学习能力。
• 探究在辅助学习框架中结合类别平衡采样与常规随机采样是否能增强模型泛化能力。
• 评估自监督学习作为附加辅助任务在提升类别不平衡设置下特征质量方面的有效性。

提出的方法

• 将网络拆分为共享特征提取器和分类头，其中分类器使用类别平衡采样（CBS）进行训练，以增强对尾部类别的感知能力。
• 引入一个辅助训练任务，其中特征提取器通过常规随机采样（RRS）进行训练，使其能够从全部数据中学习，从而减少过拟合。
• 通过CBS和RRS联合优化特征提取器，充分利用两种采样策略的优势。
• 通过旋转预测的自监督学习作为附加辅助任务，进一步提升特征泛化能力。
• 该方法在所有任务中共享特征提取器，但为每个任务使用独立的分类器，从而实现在无干扰情况下的联合优化。
• 通过调整损失权重（λ₁:λ₂）等超参数，平衡CBS与RRS的贡献，最优性能出现在0.5:1时。

实验结果

研究问题

• RQ1 能否通过结合类别平衡采样与随机采样的简单辅助学习框架，提升长尾视觉识别的性能？
• RQ2 与单一策略训练相比，通过多种采样策略联合训练特征提取器是否能更有效地减少过拟合？
• RQ3 在类别不平衡设置下，自监督学习作为辅助任务在多大程度上能改善特征表示？
• RQ4 所提出方法的性能提升是源于数据增强，还是源于辅助学习机制的内在优势？

主要发现

• 所提出的CBS+RRS框架在ImageNet-LT和Places-LT数据集上均优于最先进方法，实现了新的最先进准确率。
• 当λ₁:λ₂ = 0.5:1时，模型达到最高整体性能，表明RRS辅助任务在特征学习中起主导作用。
• 基于旋转的自监督学习显著提升了性能，超越单纯的数据增强，验证了其作为有意义辅助任务的作用。
• 可视化结果表明，所提方法生成的特征更具可分性，且分类器权重范数更均衡，证实了特征表示与公平性的提升。
• 消融实验表明，通过CBS与RRS联合训练特征提取器，优于分阶段训练，凸显端到端优化的优势。
• 仅使用基于旋转的数据增强无法达到自监督辅助任务的性能，证明其优势并非仅仅源于数据多样性提升。