[论文解读] Parts-dependent Label Noise: Towards Instance-dependent Label Noise

Xiaobo Xia, Tongliang Liu+7 more|arXiv (Cornell University)|Jun 14, 2020

Machine Learning and Data Classification参考文献 78被引用 28

一句话总结

该论文提出了一种新颖的方法来建模实例相关标签噪声，通过利用部件相关标签噪声，其中实例的转移矩阵被近似为通过锚点学习得到的部件特定转移矩阵的组合。在合成数据集和真实世界数据集上的实验表明，该方法在从实例相关标签噪声中学习方面优于当前最先进方法。

ABSTRACT

Learning with the extit{instance-dependent} label noise is challenging, because it is hard to model such real-world noise. Note that there are psychological and physiological evidences showing that we humans perceive instances by decomposing them into parts. Annotators are therefore more likely to annotate instances based on the parts rather than the whole instances. Motivated by this human cognition, in this paper, we approximate the instance-dependent label noise by exploiting extit{parts-dependent} label noise. Specifically, since instances can be approximately reconstructed by a combination of parts, we approximate the instance-dependent extit{transition matrix} for an instance by a combination of the transition matrices for the parts of the instance. The transition matrices for parts can be learned by exploiting anchor points (i.e., data points that belong to a specific class almost surely). Empirical evaluations on synthetic and real-world datasets demonstrate our method is superior to the state-of-the-art approaches for learning from the instance-dependent label noise.

研究动机与目标

• 为解决实例相关标签噪声建模的挑战，该挑战因其实复杂且依赖数据的特性而难以捕捉。
• 探索人类感知的认知基础——将实例分解为部件——作为建模标签噪声的基础。
• 通过将实例级转移矩阵近似为部件级转移矩阵，改善在实例相关标签噪声存在下的学习鲁棒性。
• 开发一种方法，利用锚点（即具有高度确定类别归属的数据点）学习可靠的转移矩阵。

提出的方法

• 该方法通过将实例分解为部件来建模实例相关标签噪声，假设每个实例可近似由其组成部分重建。
• 它将实例级转移矩阵近似为部件级转移矩阵的加权组合，从而实现局部化的噪声建模。
• 部件级转移矩阵通过锚点（即高度可能属于某一特定类别的数据点）进行学习，从而为噪声估计提供可靠的监督。
• 该方法利用视觉实例的组合性质，其中部件对整体标签噪声模式有加性贡献。
• 最终模型利用这些学习到的部件级矩阵在训练过程中校正标签噪声，从而在实例相关噪声下提升泛化性能。

实验结果

研究问题

• RQ1 通过实例的部件来建模标签噪声，是否能提升在实例相关标签噪声下的学习准确性？
• RQ2 部件级转移矩阵在多大程度上能近似实例级标签噪声的复杂结构？
• RQ3 在存在噪声标签的情况下，使用锚点是否能实现更可靠的部件级转移矩阵估计？
• RQ4 所提出的部件相关方法与现有方法相比，在处理真实世界实例相关标签噪声时表现如何？

主要发现

• 在实例相关标签噪声下，所提出方法在合成数据集和真实世界数据集上均优于当前最先进方法。
• 实证结果表明，通过部件建模噪声可实现对真实底层类别分布更准确的估计。
• 使用锚点可实现部件级转移矩阵的稳定且可靠的训练，即使在噪声环境中亦然。
• 该方法通过部件级建模有效捕捉实例级噪声的组合特性，从而实现更优的泛化性能。