[论文解读] SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning

Hao Chen, Ran Tao+7 more|arXiv (Cornell University)|Jan 26, 2023

Domain Adaptation and Few-Shot Learning被引用 89

一句话总结

SoftMatch 引入截断高斯样本加权和 Uniform Alignment，以在半监督学习中同时保持伪标签的数量和质量，通过更充分地利用未标注数据来提升学习效果。

ABSTRACT

The critical challenge of Semi-Supervised Learning (SSL) is how to effectively leverage the limited labeled data and massive unlabeled data to improve the model's generalization performance. In this paper, we first revisit the popular pseudo-labeling methods via a unified sample weighting formulation and demonstrate the inherent quantity-quality trade-off problem of pseudo-labeling with thresholding, which may prohibit learning. To this end, we propose SoftMatch to overcome the trade-off by maintaining both high quantity and high quality of pseudo-labels during training, effectively exploiting the unlabeled data. We derive a truncated Gaussian function to weight samples based on their confidence, which can be viewed as a soft version of the confidence threshold. We further enhance the utilization of weakly-learned classes by proposing a uniform alignment approach. In experiments, SoftMatch shows substantial improvements across a wide variety of benchmarks, including image, text, and imbalanced classification.

研究动机与目标

• 在统一样本加权框架内形式化定义 SSL 中伪标签的数量和质量。
• 识别硬阈值伪标签造成数量与质量权衡的局限性。
• 提出具有自适应截断高斯加权的 SoftMatch，以在提高伪标签利用率的同时保持质量。
• 引入 Uniform Alignment 以解决伪标签中的类别不平衡并稳定学习。
• 在图像、文本和长尾 SSL 基准测试上展示最先进或具竞争力的结果。

提出的方法

• 将 SSL 无监督损失重新表述为带权交叉熵，其中权重 lambda(p) 取决于模型的置信度。
• 基于当前训练迭代中的最大类别置信度的均值 mu_t 和方差 sigma_t，推导出 lambda(p) 的截断高斯加权函数。
• 通过对历史预测的指数移动平均 EMA 来估计 mu_t 和 sigma_t，并在训练过程中自适应权重。
• 引入 Uniform Alignment，将预测按均匀目标分布归一化，并从归一化的预测中计算每样本的权重。
• 将高斯加权与 Uniform Alignment 结合，形成用于无监督损失的最终 lambda(p)。
• 提供算法概览并在图像与文本任务上给出实证验证。

Figure 4: Sample weighting function visualization

实验结果

研究问题

• RQ1 在 SSL 训练中如何对伪标签进行加权以平衡其数量与质量？
• RQ2 在多领域中，数据驱动的自适应加权方案能否胜过固定或基于阈值的伪标签？
• RQ3 将伪标签分布对齐到均匀的类别使用是否提升在长尾或不平衡数据上的鲁棒性？
• RQ4 从历史预测更新加权参数对 SSL 性能有何影响？
• RQ5 SoftMatch 相对最先进的 SSL 方法在图像和文本基准测试中的表现如何？

主要发现

• 与现有 SSL 方法相比，SoftMatch 在图像和文本分类基准测试上取得显著提升。
• 在 SVHN（40 标签）上，SoftMatch 比 FixMatch 提升 1.48%。
• SoftMatch 在 CIFAR-100（400 标签）、STL-10（40 标签）和 ImageNet（10% 标签）上的超越幅度分别为 7.73%、2.84% 和 1.33%。
• SoftMatch 在不平衡 SSL 设置中对长尾分布具有鲁棒性，在所检查的所有长尾配置中均表现出最佳测试误差。
• Uniform Alignment 有助于在各类别之间平衡伪标签，有利于不平衡 SSL 情景中的学习。
• 消融研究表明，以自适应的 mu_t、sigma_t 和 Uniform Alignment 的高斯加权相较其他方法带来最稳定的增益。

(a) FixMatch