[论文解读] SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised Classification

Zijian Hu, Zhengyu Yang+2 more|arXiv (Cornell University)|Mar 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 159

一句话总结

该论文提出 SimPLE，一种半监督学习方法，通过引入一种新颖的 Pair Loss 来最小化相似未标记样本的高置信度伪标签之间的统计距离，从而提升分类准确率。通过将该损失与 MixMatch 风格的一致性正则化相结合，SimPLE 在 CIFAR-10、SVHN、CIFAR-100 和 Mini-ImageNet 上实现了当前最优或接近最优的性能，并在使用 ImageNet 或 DomainNet-Real 预训练模型的迁移学习设置中显著优于先前方法。

ABSTRACT

A common classification task situation is where one has a large amount of data available for training, but only a small portion is annotated with class labels. The goal of semi-supervised training, in this context, is to improve classification accuracy by leverage information not only from labeled data but also from a large amount of unlabeled data. Recent works have developed significant improvements by exploring the consistency constrain between differently augmented labeled and unlabeled data. Following this path, we propose a novel unsupervised objective that focuses on the less studied relationship between the high confidence unlabeled data that are similar to each other. The new proposed Pair Loss minimizes the statistical distance between high confidence pseudo labels with similarity above a certain threshold. Combining the Pair Loss with the techniques developed by the MixMatch family, our proposed SimPLE algorithm shows significant performance gains over previous algorithms on CIFAR-100 and Mini-ImageNet, and is on par with the state-of-the-art methods on CIFAR-10 and SVHN. Furthermore, SimPLE also outperforms the state-of-the-art methods in the transfer learning setting, where models are initialized by the weights pre-trained on ImageNet or DomainNet-Real. The code is available at github.com/zijian-hu/SimPLE.

研究动机与目标

• 通过利用具有高置信度伪标签的相似未标记样本之间的关系，提升半监督学习性能。
• 解决未标记样本之间关系的未充分探索问题，超越对增强视图之间的一致性或从标记数据到未标记数据的标签传播。
• 开发一种新的无监督损失项，通过鼓励相似且高置信度的未标记预测之间的一致性，提升模型泛化能力。
• 在标准基准和使用预训练模型的现实迁移学习场景中，评估所提方法的有效性。

提出的方法

• 通过平均并锐化同一未标记样本的多个弱增强视图的预测结果来生成伪标签。
• 对使用弱增强的标记数据应用监督交叉熵损失。
• 使用无监督 L2 距离损失将强增强的未标记预测与伪标签对齐，以在不同增强之间强制保持一致性。
• 引入一种新颖的 Pair Loss，通过相似性阈值和置信度阈值，最小化高度置信且相似的未标记样本预测之间的统计距离。
• 整体训练目标结合了监督损失、无监督一致性损失和新的 Pair Loss，超参数经过调优以确保鲁棒性。
• 该框架与现有 SSL 技术（如 MixMatch、ReMixMatch 和 FixMatch）兼容，并使用 ResNet 和 Wide ResNet 主干网络进行评估。

实验结果

研究问题

• RQ1 提升具有高置信度伪标签的相似未标记样本之间的一致性，是否能带来半监督学习中更好的泛化性能？
• RQ2 与现有的一致性正则化和伪标签策略相比，所提出的 Pair Loss 在性能和鲁棒性方面表现如何？
• RQ3 在使用 ImageNet 或 DomainNet-Real 预训练模型的迁移学习场景中，SimPLE 框架是否能保持或提升性能？
• RQ4 Pair Loss 对超参数选择（如置信度和相似性阈值）的敏感性如何？
• RQ5 该方法在 Mini-ImageNet 等更复杂数据集上是否具有良好的可扩展性？

主要发现

• 在使用 10,000 张标记图像的 CIFAR-100 上，SimPLE 达到 73.04% 的 top-1 准确率，显著优于无 Pair Loss 的基线方法（69.07%），并超越了先前的 SOTA 方法。
• 在 Mini-ImageNet 上，SimPLE 在多种主干网络（包括 ResNet-18 和 WRN-28-2）上均实现了当前最优性能，表明其在复杂数据集上具有强大的可扩展性。
• 在从 ImageNet-1K 到 DomainNet-Real 的迁移学习中，SimPLE 使用 3,795 个标签达到 50.90% 的准确率，比监督基线（42.91%）和 MixMatch（35.34%）高出超过 8 个百分点。
• 当使用预训练模型时，SimPLE 的收敛速度比从零开始训练快 5 至 100 倍，显示出在真实世界场景中的强大实际效率。
• 消融研究证实，Pair Loss 对置信度和相似性阈值的变化具有鲁棒性，且在使用更多样化的增强方式和更高数量的增强时性能进一步提升。
• 即使移除 RandAugment，该方法仍保持强劲性能，表明 Pair Loss 的有效性独立于增强策略。