[论文解读] Part-dependent Label Noise: Towards Instance-dependent Label Noise

Xiaobo Xia, Tongliang Liu+7 more|arXiv (Cornell University)|Jun 14, 2020

Music and Audio Processing被引用 150

一句话总结

提出 Part-dependent Label Noise (PDN)，通过学习部件特定的转移矩阵并将它们组合起来形成实例特定噪声，以近似实例相关的标签噪声。验证在合成数据和真实数据集上对强实例相关噪声的鲁棒性提升。

ABSTRACT

Learning with the extit{instance-dependent} label noise is challenging, because it is hard to model such real-world noise. Note that there are psychological and physiological evidences showing that we humans perceive instances by decomposing them into parts. Annotators are therefore more likely to annotate instances based on the parts rather than the whole instances, where a wrong mapping from parts to classes may cause the instance-dependent label noise. Motivated by this human cognition, in this paper, we approximate the instance-dependent label noise by exploiting extit{part-dependent} label noise. Specifically, since instances can be approximately reconstructed by a combination of parts, we approximate the instance-dependent extit{transition matrix} for an instance by a combination of the transition matrices for the parts of the instance. The transition matrices for parts can be learned by exploiting anchor points (i.e., data points that belong to a specific class almost surely). Empirical evaluations on synthetic and real-world datasets demonstrate our method is superior to the state-of-the-art approaches for learning from the instance-dependent label noise.

研究动机与目标

• 以实例的部件而不是整个实例的标签噪声为动机并进行建模。
• 开发一个实用框架，使用锚点学习部件依赖的转移矩阵。
• 证明实例相关转移可以被部件相关转移的加权组合很好地近似。
• 在多数据集的高噪声条件下展示优越的分类性能。
• 提供学习部件依赖标签噪声的算法路径和经验验证。

提出的方法

• 将实例相关噪声表述为部件相关转移矩阵的加权和 T(x) ≈ ∑_j h_j(x) P^j，其中 h(x) 为用来重建实例的学习函数。
• 通过类似非负矩阵分解的表示学习部件：min_W,h(x_i) ∑_i || x_i - W h(x_i) ||^2，h(x_i) ∈ R_+^r，||h(x_i)||_1 = 1。
• 通过在锚点（Y 的取值概率为 1 的点）匹配 T(x) 的行来估计部件相关矩阵 P^j，在行和约束下求解凸问题 ||P_i^j||_1 = 1。
• 当锚点稀少或不可用时，使用一个松弛变量 ΔT 来修改实例无关的转移矩阵。
• 算法 1 概要：1) 学习深度表示，2) 通过式(1)估计 h(x)，3) 通过锚点学习逐行的 P^j（式(3) 与 式(4)），4) 通过式(2)形成 T(x)。
• 以两个核心方程为基础：”(2) T(x) ≈ ∑_j h_j(x) P^j 其中 ∥h(x)∥_1 = 1，“和”(3) 通过 ∑_j h_j(x^i) P_i·^j 近似重构锚点行 T_i·(x^i)。

实验结果

研究问题

• RQ1 是否可以使用锚点从数据中学习部件级转移矩阵来近似实例相关的标签噪声？
• RQ2 当线性组合时，基于部件的重建（通过 NMF 风格表示）在每个实例的噪声捕捉上有多准确？
• RQ3 与现有方法相比，基于 PDN 的转移矩阵是否能在合成和现实世界的噪声数据集上提高分类鲁棒性？
• RQ4 部件数量对近似误差和最终准确性的影响是多少？

主要发现

• PTD 的变体在合成基准数据集（F-MNIST、SVHN、CIFAR-10、NEWS）上始终优于最先进的带噪声标签方法，且在更高的噪声水平（IDN-50%）下表现尤为突出。
• 在 CIFAR-10 上，PTD-R-V 在重噪声设置下对比最佳基线可带来约 10% 的绝对准确度提升。
• 消融实验显示 PDN 模型的近似误差低于基于类别的模型，并且对部件数量具有鲁棒性。
• 在 Clothing1M（真实世界有噪声数据）上，PTD-R-V 达到所比较方法中的最高准确率（71.67%）。
• 基于锚点的学习使部件相关转移矩阵的估计更可靠，即使锚点信息有限，也能有效重构实例相关噪声。