[论文解读] On the Robustness of Nearest Neighbor with Noisy Data

Wei Gao, Binbin Yang+1 more|arXiv (Cornell University)|Jul 26, 2016

Machine Learning and Data Classification参考文献 30被引用 1

一句话总结

本文对随机噪声下k近邻（k-NN）的鲁棒性进行了理论分析，表明其在对称噪声下保持一致性，并对非对称噪声具有鲁棒性，仅少数误分类点例外。本文提出了鲁棒k近邻（RNN），仅修正最严重误导的样本，同时利用k-NN固有的鲁棒性，在标签噪声数据集上实现了优异性能。

ABSTRACT

Nearest neighbor has always been one of the most appealing non-parametric approaches in machine learning, pattern recognition, computer vision, etc. Previous empirical studies partially demonstrate that nearest neighbor is resistant to noise, yet there is a lack of deep analysis. This work presents a full understanding on the robustness of nearest neighbor in the random noise setting. We provide finite-sample, distribution-dependent bounds on the consistency of nearest neighbor. The theoretical results show that, for asymmetric noises, k-nearest neighbor is robust enough to classify most data correctly, except for a handful of examples, whose labels are totally misled by random noises. For symmetric noises, however, k-nearest neighbor achieves the same consistent rate as that of noise-free setting, which verifies the robustness of $k$-nearest neighbor. Motivated by theoretical analysis, we propose the Robust k-Nearest Neighbor (RNN) approach to deal with noisy labels. The basic idea is to make unilateral corrections to examples, whose labels are totally misled by random noises, and classify the others directly by utilizing the robustness of k-nearest neighbor. Extensive experiments show the effectiveness and robustness of the proposed algorithm.

研究动机与目标

• 理解k-NN在随机噪声下的理论鲁棒性，特别是在有限样本和分布相关设置下。
• 识别k-NN在标签噪声下保持一致性的条件，区分对称噪声与非对称噪声。
• 开发一种实用方法，利用k-NN的鲁棒性，同时仅修正最严重污染的标签。
• 通过在噪声数据集上的大量实验验证所提出的RNN方法。

提出的方法

• 理论分析推导了在随机噪声下k-NN一致性的有限样本、分布相关边界。
• 该方法区分了对称噪声与非对称噪声，表明在对称噪声下，k-NN达到与无噪声情况相同的稳定速率。
• 提出了一种鲁棒k近邻（RNN）算法，可识别并仅修正其标签被噪声完全误导的样本。
• RNN对剩余样本直接使用标准k-NN进行分类，以利用其固有的抗噪声能力。
• 标签修正为单边进行，基于预测置信度及与预期标签模式的偏离程度。

实验结果

研究问题

• RQ1 在何种噪声条件下，k-NN在有限样本设置下保持一致性？
• RQ2 k-NN在对称与非对称随机噪声下的性能有何差异？
• RQ3 我们能否设计一种方法，仅修正最严重误标样本，同时保持k-NN的鲁棒性？
• RQ4 k-NN在对称噪声下的理论一致性速率与无噪声情况相比如何？

主要发现

• 在对称噪声下，k-NN达到与无噪声情况相同的稳定分类速率，证实了其鲁棒性。
• 在非对称噪声下，k-NN仍具鲁棒性，但可能误分类少数其标签被噪声完全误导的样本。
• 所提出的RNN方法能有效识别并仅修正最严重污染的标签，最大限度减少不必要的修正。
• 实验表明，RNN在噪声标签数据集上优于标准k-NN及其他基线方法，证实了其实际鲁棒性。