[论文解读] Progressive Identification of True Labels for Partial-Label Learning

Jiaqi Lv, Miao Xu+4 more|arXiv (Cornell University)|Feb 19, 2020

Machine Learning and Data Classification参考文献 56被引用 36

一句话总结

介绍 PRODEN，这是一个面向部分标签学习（PLL）的模型-与损失无关的渐进识别框架，带有分类器一致性风险估计器，并在多样数据集上展示了最先进的结果。

ABSTRACT

Partial-label learning (PLL) is a typical weakly supervised learning problem, where each training instance is equipped with a set of candidate labels among which only one is the true label. Most existing methods elaborately designed learning objectives as constrained optimizations that must be solved in specific manners, making their computational complexity a bottleneck for scaling up to big data. The goal of this paper is to propose a novel framework of PLL with flexibility on the model and optimization algorithm. More specifically, we propose a novel estimator of the classification risk, theoretically analyze the classifier-consistency, and establish an estimation error bound. Then we propose a progressive identification algorithm for approximately minimizing the proposed risk estimator, where the update of the model and identification of true labels are conducted in a seamless manner. The resulting algorithm is model-independent and loss-independent, and compatible with stochastic optimization. Thorough experiments demonstrate it sets the new state of the art.

研究动机与目标

• 将 PLL 作为一个可扩展、灵活的弱监督学习问题进行动机阐述，其中只有一个候选标签集合可用。
• 定义适用于 PLL 的分类器一致性风险估计器，而不对具体模型或优化器作出限制。
• 提出一个渐进识别（PRODEN）算法，将模型更新与真实标签识别以随机、模型无关的方式整合在一起。
• 建立理论保障，包括分类器一致性风险和估计误差上界。
• 在合成和真实世界数据集上，与多种基线方法对比，经验性验证 PRODEN，并覆盖深度学习骨干网络。

提出的方法

• 提出用于 PLL 的分类器一致性风险：R_PLL(g)=E[min_{i in S} l(g(X), e^i)].
• 在较小的歧义度和使用交叉熵或均方误差（MSE）损失时，PLL 分类器等同于普通的最优分类器（分类器一致性）。
• 通过 Rademacher 复杂度推导经验 PLL 风险的估计误差上界。
• 引入 PRODEN：一种渐进识别算法，将最小值放宽为动态权重 w_ij，并以连续、随机的方式更新权重与分类器。
• 使用可分解损失将经验 PLL 风险重新表述为 R̂_PLL= (1/n) sum_i sum_j w_ij l(g_j(x_i), e_j^{s_i})，其中权重 w_ij 来自当前预测。
• 以均匀权重初始化，并通过 w_ij = g_j(x_i) / sum_{k in s_i} g_k(x_i) 逐步调整权重。
• 表明 PRODEN 与模型和损失无关，且与随机优化兼容。

实验结果

研究问题

• RQ1 如何用一个适用于任意模型与损失的分类器一致性风险估计 PLL？
• RQ2 在可扩展的随机优化框架中，渐进识别策略是否能在训练时有效识别候选集合中的真实标签？
• RQ3 在现实条件下，PLL 的理论保障（分类器一致性与估计误差上界）是否成立？
• RQ4 在合成和真实世界数据集以及各种模型架构下，PRODEN 相对于最先进的 PLL 方法的实际表现如何？

主要发现

• 基于候选标签的最小损失的 PLL 风险估计在确定性学习、较小歧义度以及常见损失如交叉熵或 MSE 下具有分类器一致性。
• 建立了一个估计误差上界，表明当样本量增大时 PLL 风险收敛于普通 PLL 风险，且与子类的 Rademacher 复杂度相关。
• PRODEN 在多个基准上达到最先进的性能，在若干数据集上经常接近或达到监督学习（PN-Oracle）的表现，并对模型家族与不同歧义度具有鲁棒性。
• PRODEN 通过避免在 E 步与 M 步分离上的过拟合，相比 EM 基方法在权重和模型参数的无缝联合更新方面更具优势。
• PRODEN 在高歧义度及多样数据集上表现强劲，包括 MNIST、Fashion-MNIST、Kuzushiji-MNIST、CIFAR-10，以及若干真实世界的部分标签数据集。