[论文解读] PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification

Junxiang Huang, Alexander C. Huang+2 more|arXiv (Cornell University)|Aug 30, 2022

Text and Document Classification Technologies被引用 5

一句话总结

PercentMatch 提出了一种基于百分位数的动态阈值方法，用于多标签半监督学习，能够在训练过程中自适应地调整正样本和负样本的伪标签阈值，从而减少早期预测带来的噪声。该方法在 Pascal VOC2007 上达到最先进性能，并在 MS-COCO 上取得新的 SOTA 结果，相较于 FixMatch 和先前方法，mAP 和 AUC 分数均有提升。

ABSTRACT

While much of recent study in semi-supervised learning (SSL) has achieved strong performance on single-label classification problems, an equally important yet underexplored problem is how to leverage the advantage of unlabeled data in multi-label classification tasks. To extend the success of SSL to multi-label classification, we first analyze with illustrative examples to get some intuition about the extra challenges exist in multi-label classification. Based on the analysis, we then propose PercentMatch, a percentile-based threshold adjusting scheme, to dynamically alter the score thresholds of positive and negative pseudo-labels for each class during the training, as well as dynamic unlabeled loss weights that further reduces noise from early-stage unlabeled predictions. Without loss of simplicity, we achieve strong performance on Pascal VOC2007 and MS-COCO datasets when compared to recent SSL methods.

研究动机与目标

• 为解决多标签分类中类间独立性与极端类别不平衡导致伪标签生成复杂化的问题，探索将半监督学习扩展至多标签分类的未充分研究挑战。
• 通过基于类别特定百分位数分布动态调整得分阈值，减少早期训练中由错误伪标签带来的噪声。
• 通过一种自然且可扩展的阈值机制，将单标签 SSL 方法（如 FixMatch）推广至多标签设置。
• 提升在类别不平衡的多标签数据集（如 MS-COCO）上的模型收敛速度与性能，其中罕见类别样本较少。
• 在 MS-COCO 上建立多标签半监督分类的新基准结果，此前该数据集尚无相关 SSL 基准。

提出的方法

• PercentMatch 使用基于百分位数的阈值（κ₊ = 0.98 用于正样本，κ₋ = 0.1 用于负样本），动态设定伪标签的置信度阈值，以适应类别特定的得分分布。
• 引入基于正负阈值得分差异的自适应无标签损失权重，降低早期训练中低置信度预测带来的噪声。
• 该方法保留了 FixMatch 的教师-学生框架，但将固定的置信度阈值替换为按类别动态调整的百分位数阈值。
• 应用标准数据增强（中心裁剪、翻转、Cutout），并在 ResNet50 主干网络上使用一阶段学习率调度和 Adam 优化器。
• 模型采用多标签解码头，并使用 ImageNet 统计参数对输入进行归一化，有标签和无标签的批量大小分别设置为 36 和 μ=1。
• 通过统一的阈值间隙（Υ₀=0.5，Υₛ=0.55）控制阈值饱和过程，确保随着训练推进逐步纳入无标签数据。

实验结果

研究问题

• RQ1 在类别独立性与类别不平衡的挑战下，如何有效将半监督学习从单标签扩展至多标签分类？
• RQ2 基于百分位数的动态阈值是否能提升多标签 SSL 中伪标签的可靠性，尤其是在早期训练阶段？
• RQ3 基于阈值差异的自适应损失加权在噪声大、类别不平衡的多标签设置下，如何影响模型的鲁棒性与收敛性？
• RQ4 所提出的方法是否在标准多标签基准（如 Pascal VOC2007 和 MS-COCO）上优于固定阈值基线方法（如 FixMatch）？
• RQ5 PercentMatch 是否能在 MS-COCO 上建立新的 SOTA 结果？该数据集为高度不平衡的多标签数据集，此前无相关 SSL 基准。

主要发现

• 在使用 20% 有标签数据的 Pascal VOC2007 上，PercentMatch 相较于先前 SOTA 方法实现了 2.04% 的 mAP 提升，最终 mAP 达到 41.33%。
• 在 10% 有标签数据设置下，PercentMatch 达到了先前 SOTA 的 mAP 分数，表明在极低监督设置下仍具备强大性能。
• 在 MS-COCO 上，PercentMatch 在所有有标签数据比例（2%、5%、10%）下均持续优于重新实现的 FixMatch，显示出在少样本设置下的显著优势。
• 在使用 10% 有标签数据的 MS-COCO 上，PercentMatch 实现了 32.29% 的 mAP，显著优于基线 FixMatch 的性能。
• 性能在不同超参数设置下保持稳定，表明该方法对百分位数阈值或阈值间隙的选择不敏感。
• 动态阈值机制与自适应损失加权显著加快了收敛速度，并减少了早期训练中错误伪标签带来的噪声。