[论文解读] Semi-supervised Long-tailed Recognition using Alternate Sampling

Bo Liu, Haoxiang Li+3 more|arXiv (Cornell University)|May 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用 4

一句话总结

本文提出了一种新颖的半监督长尾识别框架，通过解耦特征嵌入与分类器训练，对标注数据使用类别平衡采样训练分类器，对标注和未标注数据使用随机采样训练特征嵌入。通过迭代优化伪标签并减轻尾部类别中低质量伪标签带来的偏差，该方法在少样本类别上实现了最先进准确率。

ABSTRACT

Main challenges in long-tailed recognition come from the imbalanced data distribution and sample scarcity in its tail classes. While techniques have been proposed to achieve a more balanced training loss and to improve tail classes data variations with synthesized samples, we resort to leverage readily available unlabeled data to boost recognition accuracy. The idea leads to a new recognition setting, namely semi-supervised long-tailed recognition. We argue this setting better resembles the real-world data collection and annotation process and hence can help close the gap to real-world scenarios. To address the semi-supervised long-tailed recognition problem, we present an alternate sampling framework combining the intuitions from successful methods in these two research areas. The classifier and feature embedding are learned separately and updated iteratively. The class-balanced sampling strategy has been implemented to train the classifier in a way not affected by the pseudo labels' quality on the unlabeled data. A consistency loss has been introduced to limit the impact from unlabeled data while leveraging them to update the feature embedding. We demonstrate significant accuracy improvements over other competitive methods on two datasets.

研究动机与目标

• 弥合标准半监督学习基准与现实世界数据采集之间的差距，其中标注和未标注数据均遵循长尾分布。
• 解决在半监督长尾识别中，由于类别不平衡导致尾部类别伪标签质量差的问题，标准方法因此失效。
• 开发一种将分类器与特征嵌入学习解耦的训练框架，以稳定训练过程并提高对噪声伪标签的鲁棒性。
• 通过利用未标注数据提升长尾数据集上的识别准确率，同时避免对头部类别产生更大偏差。

提出的方法

• 将识别模型解耦为特征嵌入网络和分类器，分别使用不同的采样策略进行训练。
• 在标注子集上对分类器使用类别平衡采样，以确保公平监督并减少对头部类别的偏差。
• 对标注和未标注数据的特征嵌入训练采用随机采样，以避免因潜在错误的伪标签带来的偏差。
• 在相同未标注样本的不同增强版本的前向传播之间引入一致性损失，以提升特征泛化能力。
• 实施交替学习策略：先在标注数据上训练分类器，然后使用伪标签标注的未标注数据更新特征嵌入，再迭代进行。
• 使用当前模型生成的伪标签监督嵌入训练，但避免在伪标签数据上更新分类器，以防止错误传播。

实验结果

研究问题

• RQ1 当标注和未标注数据均遵循相同长尾分布时，半监督学习技术能否有效适配长尾识别？
• RQ2 尾部类别伪标签的质量在半监督长尾识别中如何影响模型性能？
• RQ3 通过不同采样策略解耦分类器与特征嵌入训练，能否减少偏差并提高对噪声伪标签的鲁棒性？
• RQ4 与联合训练或端到端微调相比，分类器与嵌入训练之间的交替学习是否能提升少样本类别的性能？

主要发现

• 所提方法在CIFAR-10-SSLT（不平衡因子100）上达到70.1%的整体准确率，显著优于最佳基线超过6个百分点。
• 在少样本类别上，该方法达到56.5%的准确率，相比基线（R+R为14.1%，C+R为37.6%）有显著提升，表明对伪标签噪声具有鲁棒性。
• 消融实验表明，在伪标签数据上训练分类器（即使使用类别平衡采样）会损害性能，尤其在少样本类别上，原因在于错误传播。
• 在5轮训练循环中，未标注子集上少样本分割的伪标签准确率从41.8%提升至57.8%，证实了交替学习策略的有效性。
• 若移除特征嵌入的无监督训练，性能显著下降（甚至劣于初始化模型），证明无监督学习对性能提升至关重要。
• 该方法在多张样本类别上保持了高准确率（整体89.6%），同时大幅提升了少样本准确率，表明在不同类别基数间实现了平衡学习。