[论文解读] On the Effectiveness of Out-of-Distribution Data in Self-Supervised Long-Tail Learning

Jianhong Bai, Zuozhu Liu+5 more|arXiv (Cornell University)|Jun 8, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出COLT，一种新颖的自监督学习框架，利用未标注的分布外（OOD）数据来提升长尾数据集上的性能。通过在特征空间中动态采样靠近尾部类别的OOD样本，并应用分布感知对比损失，COLT显著增强了表示学习能力，其性能超越了依赖昂贵分布内（ID）数据的最先进方法。

ABSTRACT

Though Self-supervised learning (SSL) has been widely studied as a promising technique for representation learning, it doesn't generalize well on long-tailed datasets due to the majority classes dominating the feature space. Recent work shows that the long-tailed learning performance could be boosted by sampling extra in-domain (ID) data for self-supervised training, however, large-scale ID data which can rebalance the minority classes are expensive to collect. In this paper, we propose an alternative but easy-to-use and effective solution, Contrastive with Out-of-distribution (OOD) data for Long-Tail learning (COLT), which can effectively exploit OOD data to dynamically re-balance the feature space. We empirically identify the counter-intuitive usefulness of OOD samples in SSL long-tailed learning and principally design a novel SSL method. Concretely, we first localize the `head' and `tail' samples by assigning a tailness score to each OOD sample based on its neighborhoods in the feature space. Then, we propose an online OOD sampling strategy to dynamically re-balance the feature space. Finally, we enforce the model to be capable of distinguishing ID and OOD samples by a distribution-level supervised contrastive loss. Extensive experiments are conducted on various datasets and several state-of-the-art SSL frameworks to verify the effectiveness of the proposed method. The results show that our method significantly improves the performance of SSL on long-tailed datasets by a large margin, and even outperforms previous work which uses external ID data. Our code is available at https://github.com/JianhongBai/COLT.

研究动机与目标

• 为解决自监督学习（SSL）在长尾数据集上泛化能力差的问题，其中多数类主导了特征空间。
• 探究当分布内（ID）数据不可用或获取成本高昂时，未标注的分布外（OOD）数据是否能有效提升SSL性能。
• 开发一种实用且数据高效的动态方法，利用OOD样本重新平衡特征空间，且无需标注的OOD数据。
• 通过一种新型对比学习目标，增强对少数类（尾部类）的模型鲁棒性和线性可分性，该目标能明确区分ID和OOD分布。

提出的方法

• 提出一种尾部度量分数，基于邻域密度无监督地定位特征空间中的头部和尾部样本。
• 设计一种在线OOD采样策略，选择与尾部或头部类别具有高余弦相似度的OOD样本，通过预算感知函数将更多样本分配给尾部类别。
• 引入一种分布级别的监督对比损失，显式分离训练过程中的ID和OOD样本，提升分布感知能力。
• 将OOD样本整合到对比学习流程中，使用标准数据增强和MoCo风格的队列机制。
• 在固定时间间隔内采用重采样机制，以在训练过程中保持特征空间的动态平衡。
• 采用多阶段训练流程：(1) 通过尾部度量分数分析特征空间，(2) 在线OOD采样，(3) 使用分布感知损失进行对比训练。

实验结果

研究问题

• RQ1 当分布内（ID）数据稀缺时，未标注的分布外（OOD）数据是否能有效提升自监督学习在长尾数据集上的性能？
• RQ2 如何选择并整合OOD样本，以实现对特征空间的动态再平衡，从而更好地惠及少数类（尾部类）？
• RQ3 在自监督训练过程中，分布感知对比损失在区分ID和OOD样本方面有何影响？
• RQ4 COLT的性能与使用外部分布内数据的最先进SSL方法相比如何？
• RQ5 该方法对超参数选择（如重采样间隔和top-k采样）的鲁棒性如何？

主要发现

• COLT显著提升了多种SSL框架在长尾数据集上的性能，且在不使用任何分布内数据的情况下达到最先进结果。
• 在CIFAR-100-LT上，COLT相较于标准SSL基线方法，线性评估准确率提升超过10%，并超越了使用外部ID数据的方法。
• 可视化和度量分析表明，该方法在特征空间均匀性和对齐性方面表现更优，尤其体现在尾部类别上。
• 分布感知对比损失降低了各类别间的性能方差，减少了标准差，缓解了类别不平衡问题。
• 当OOD样本预算达到10k–15k时，性能增益趋于饱和，表明具有高数据效率且在此之后收益递减。
• 在使用相同OOD数据的情况下，COLT优于半监督学习基线方法（如FixMatch、FlexMatch），表明将OOD样本直接整合到SSL中比伪标签方法更有效。