[论文解读] SoLar: Sinkhorn Label Refinery for Imbalanced Partial-Label Learning

Haobo Wang, Mingxuan Xia+5 more|arXiv (Cornell University)|Sep 21, 2022

Text and Document Classification Technologies被引用 14

一句话总结

SoLar 提出了一种基于最优传输的新颖框架，用于长尾部分标签学习，通过 Sinkhorn-Knopp 优化和迭代类别先验估计，将伪标签细化以匹配真实类别先验分布。该方法实现了最先进性能，在长尾 CIFAR10 上将尾部类别准确率提升了 15.12%，在使用 logit 调整时提升了 6.72%。

ABSTRACT

Partial-label learning (PLL) is a peculiar weakly-supervised learning task where the training samples are generally associated with a set of candidate labels instead of single ground truth. While a variety of label disambiguation methods have been proposed in this domain, they normally assume a class-balanced scenario that may not hold in many real-world applications. Empirically, we observe degenerated performance of the prior methods when facing the combinatorial challenge from the long-tailed distribution and partial-labeling. In this work, we first identify the major reasons that the prior work failed. We subsequently propose SoLar, a novel Optimal Transport-based framework that allows to refine the disambiguated labels towards matching the marginal class prior distribution. SoLar additionally incorporates a new and systematic mechanism for estimating the long-tailed class prior distribution under the PLL setup. Through extensive experiments, SoLar exhibits substantially superior results on standardized benchmarks compared to the previous state-of-the-art PLL methods. Code and data are available at: https://github.com/hbzju/SoLar .

研究动机与目标

• 解决现有部分标签学习（PLL）方法在长尾、不平衡数据设置下的性能下降问题。
• 指出伪标签对头部类别存在偏差，是不平衡 PLL 中的关键失败模式。
• 开发一种标签消歧框架，强制使伪标签分布与真实边缘类别先验相匹配。
• 解决在无真实标签计数的情况下，于部分标签设置中估计长尾类别先验的非平凡问题。
• 设计一种自监督、端到端可训练的系统，在无需已知类别先验的情况下提升少数类的泛化能力。

提出的方法

• 将标签消歧建模为一个约束最优传输问题，保留候选标签集合内的质量，并使预测的伪标签分布与估计的类别先验相匹配。
• 使用 Sinkhorn-Knopp 算法高效求解最优传输问题，计算开销低。
• 引入一种基于模型预测移动平均的迭代类别先验估计机制，并通过样本选择策略增强鲁棒性。
• 将标签精炼模块集成到标准 PLL 管道中，实现与现有方法（如 PRODEN 和 PiCO）的兼容性。
• 将 logit 调整作为后处理步骤应用，以进一步提升性能，证明其与长尾学习技术的兼容性。
• 使用交叉熵损失在精炼后的伪标签上端到端训练模型，确保整体目标的统计一致性。

实验结果

研究问题

• RQ1 为什么最先进部分标签学习方法在长尾数据集上表现不佳？
• RQ2 能否利用最优传输对伪标签进行精炼，使其分布匹配部分标签学习中的真实类别先验？
• RQ3 在真实标签未知的部分标签设置中，如何估计真实类别先验？
• RQ4 是否可以设计一种标签精炼框架，在不预先知晓类别分布的情况下提升少数类（尾部类）的性能？
• RQ5 将 SoLar 与现有长尾学习技术（如 logit 调整）结合是否能带来进一步的性能增益？

主要发现

• 在带有部分标签的长尾 CIFAR10 数据集上，SoLar 相较于最佳基线方法将尾部类别准确率提升了 15.12%。
• 在 SUN397 数据集上，SoLar 显著优于所有基线方法，证明了其在真实世界不平衡、部分标注数据上的有效性。
• 如图 1(b) 所示，SoLar 估计的类别先验与真实先验高度吻合，验证了该估计机制的鲁棒性。
• 当与 logit 调整结合时，SoLar 在长尾 CIFAR10 上实现了 6.72% 的准确率增益，表明其与现有长尾学习方法具有良好的兼容性。
• 该方法具有统计一致性，确保在所提目标下，总体分类器在总体层面达到最优性能。
• 实证分析证实，传统 PLL 方法（如 PRODEN）严重偏向头部类别，而 SoLar 通过受约束的标签精炼有效缓解了这一问题。