[论文解读] On the Resistance of Nearest Neighbor to Random Noisy Labels

Wei Gao, Binbin Yang+1 more|arXiv (Cornell University)|Jul 26, 2016

Machine Learning and Data Classification参考文献 66被引用 15

一句话总结

该论文提出 Robust $k$-Nearest Neighbor (R$k$NN)，一种通过仅纠正最严重误导的样本，利用 $k$-NN 对随机噪声标签的固有鲁棒性来应对标签噪声的方法。理论上，证明了在对称噪声下 $k$-NN 是一致的，在非对称噪声下具有鲁棒性，且在基准数据集上的实证验证表明，即使噪声估计不够精确，该方法仍表现出色。

ABSTRACT

Nearest neighbor has always been one of the most appealing non-parametric approaches in machine learning, pattern recognition, computer vision, etc. Previous empirical studies partly shows that nearest neighbor is resistant to noise, yet there is a lack of deep analysis. This work presents the finite-sample and distribution-dependent bounds on the consistency of nearest neighbor in the random noise setting. The theoretical results show that, for asymmetric noises, k-nearest neighbor is robust enough to classify most data correctly, except for a handful of examples, whose labels are totally misled by random noises. For symmetric noises, however, k-nearest neighbor achieves the same consistent rate as that of noise-free setting, which verifies the resistance of k-nearest neighbor to random noisy labels. Motivated by the theoretical analysis, we propose the Robust k-Nearest Neighbor (RkNN) approach to deal with noisy labels. The basic idea is to make unilateral corrections to examples, whose labels are totally misled by random noises, and classify the others directly by utilizing the robustness of k-nearest neighbor. We verify the effectiveness of the proposed algorithm both theoretically and empirically.

研究动机与目标

• 在有限样本和分布相关设置下，理论上分析 $k$-NN 在随机标签噪声下的一致性。
• 理解为何 $k$-NN 在经验上对噪声标签表现出鲁棒性，尽管理论依据有限。
• 设计一种实用算法，利用这种鲁棒性，同时仅纠正最严重污染的样本。
• 在具有不同噪声水平的合成数据集和真实世界数据集上，通过实证方法验证理论发现。

提出的方法

• 提出 R$k$NN，识别并仅纠正其标签被随机噪声完全误导的样本。
• 使用 $k'$-最近邻估计噪声比例 $\hat{\tau}_+$ 和 $\hat{\tau}_-$，以指导纠正决策。
• 仅对具有高置信度被误标示的实例应用单边标签纠正，从而为其余样本保留 $k$-NN 的鲁棒性。
• 采用贝叶斯框架估计噪声率并指导参数选择，确保理论一致性。
• 整合最近邻估计以检测并纠正误标样本，而无需依赖参数假设。
• 采用贝叶斯 t 检验，统计验证在多个数据集上相对于基线方法的性能提升。

实验结果

研究问题

• RQ1 在随机标签噪声下，$k$-NN 在有限样本和分布相关设置下的表现一致性如何？
• RQ2 $k$-NN 为何对随机标签噪声具有鲁棒性，这种鲁棒性在何种条件下会失效？
• RQ3 我们能否设计一种实用算法，利用 $k$-NN 的鲁棒性，同时仅纠正最严重污染的样本？
• RQ4 在真实世界数据集中，通过 $k'$-NN 进行的噪声估计准确度如何，R$k$NN 对参数选择的敏感性如何？
• RQ5 在各种噪声设置下，R$k$NN 是否在分类准确率上优于现有方法？

主要发现

• 在对称标签噪声下，$k$-NN 达到了与无噪声设置下相同的稳定率，证实其对随机噪声的抵抗能力。
• 在非对称噪声下，$k$-NN 仍保持一致，且能正确分类大多数样本，仅少数样本的标签被完全误导。
• 理论分析表明，即使在对称噪声下，1-NN 也是不一致的，凸显了 $k > 1$ 的重要性。
• R$k$NN 在基准数据集上达到最先进性能，在贝叶斯 t 检验中 64 次比较中有 53 次胜出。
• 通过 $k'$-NN 进行的噪声估计虽粗糙但已足够使 R$k$NN 维持高性能，表明对估计误差具有鲁棒性。
• 实证结果表明，R$k$NN 在样本量增加时表现稳定且收敛，且只要 $k \geq 10$，对 $k$ 的选择不敏感。