[论文解读] Transfer Learning with Label Noise

Xiyu Yu, Tongliang Liu+4 more|arXiv (Cornell University)|Jul 31, 2017

Domain Adaptation and Few-Shot Learning参考文献 30被引用 29

一句话总结

本文提出了一种去噪条件不变成分（DCIC）框架，用于在标签噪声条件下进行迁移学习，能够在源标签被污染的情况下，实现对不变表示的鲁棒学习以及对目标标签分布的无偏估计。该方法在广义目标分布偏移场景下，可证明地缓解了类别条件标签噪声的负面影响，且在合成数据集和真实世界数据集上的表现优于现有方法。

ABSTRACT

Transfer learning aims to improve learning in target domain by borrowing knowledge from a related but different source domain. To reduce the distribution shift between source and target domains, recent methods have focused on exploring invariant representations that have similar distributions across domains. However, when learning this invariant knowledge, existing methods assume that the labels in source domain are uncontaminated, while in reality, we often have access to source data with noisy labels. In this paper, we first show how label noise adversely affect the learning of invariant representations and the correcting of label shift in various transfer learning scenarios. To reduce the adverse effects, we propose a novel Denoising Conditional Invariant Component (DCIC) framework, which provably ensures (1) extracting invariant representations given examples with noisy labels in source domain and unlabeled examples in target domain; (2) estimating the label distribution in target domain with no bias. Experimental results on both synthetic and real-world data verify the effectiveness of the proposed method.

研究动机与目标

• 为解决迁移学习中现有方法假设源标签干净，而现实世界数据常包含噪声标签这一关键空白。
• 探究标签噪声如何在多种迁移学习场景中破坏不变表示学习和标签分布偏移校正。
• 开发一种理论基础扎实的方法，确保在标签噪声下，不变表示学习和无偏目标标签分布估计的一致性。
• 聚焦于在实际应用（如医学数据分析和跨域视觉）中普遍存在的广义目标分布偏移场景。

提出的方法

• 提出一种去噪条件不变成分（DCIC）框架，联合学习不变表示并估计在源标签存在噪声时的目标标签分布。
• 采用对源域中类别条件标签噪声（CCN）具有鲁棒性的条件不变表示学习目标。
• 引入去噪机制，在表示学习过程中利用未标记的目标数据校正标签噪声。
• 采用极小化极大优化框架，通过匹配不同领域间的条件分布来估计目标标签分布，即使存在标签噪声亦能实现。
• 理论分析证明，DCIC在类别条件标签噪声下可确保不变表示的一致性估计和无偏的标签分布偏移校正。
• 利用McDiarmid不等式推导泛化误差界，建立该方法在噪声数据下的统计收敛性。

实验结果

研究问题

• RQ1 源域中的标签噪声如何影响现有迁移学习方法的性能，特别是在不变表示学习和标签分布偏移校正方面？
• RQ2 能否设计一种迁移学习框架，在源标签受类别条件噪声污染时仍保持有效性？
• RQ3 所提出的DCIC框架是否能在源标签存在噪声时，确保不变表示的一致性学习？
• RQ4 在存在标签噪声的情况下，该方法能否无偏地准确估计目标域的标签分布？
• RQ5 DCIC框架在标签噪声条件下，对表示学习和标签分布估计提供了哪些理论保证？

主要发现

• 所提出的DCIC框架可证明地从噪声源数据和未标记目标数据中提取不变表示，对类别条件标签噪声具有鲁棒性。
• 即使源标签被污染，DCIC仍能实现对目标标签分布的无偏估计，这对可靠的迁移学习至关重要。
• 在合成数据集和真实世界数据集上的实验结果表明，DCIC在标签噪声下的迁移学习准确率显著优于基线方法。
• 该方法在多种迁移学习场景中保持强性能，尤其在广义目标分布偏移场景下表现突出，此时标签噪声对现有方法的性能破坏最为严重。
• 理论分析确认，DCIC的泛化误差随源域和目标域样本量的平方根而衰减，表明其具有统计一致性。