[论文解读] The Power of Localization for Efficiently Learning Linear Separators with Malicious Noise.

Pranjal Awasthi, Maria-Florina Balcan+1 more|arXiv (Cornell University)|Jul 31, 2013

Machine Learning and Algorithms被引用 2

一句话总结

本文提出了一种在均匀分布下，针对恶意噪声模型中 ℝd 中线性分类器的多项式时间算法，通过定位技术容忍噪声率 η = O(1/√d)。该方法通过聚焦于可靠数据区域实现鲁棒性，显著提升了先前方法的效率和噪声容忍度。

ABSTRACT

In this paper we put forward new techniques for designing efficient algorithms for learning linear separators in the challenging malicious noise model, where an adversary may corrupt both the labels and the feature part of an η fraction of the examples. Our main result is a polynomial-time algorithm for learning linear separators in ℜd under the uniform distribution that can handle a noise rate of η = O

研究动机与目标

• 解决当对手污染特征和标签中最多 η 比例数据时，学习线性分类器的挑战。
• 设计一种高效、多项式时间的算法，在恶意噪声下仍保持高准确率。
• 通过利用数据定位技术，将噪声容忍度提升至超过先前方法的界限。
• 在均匀分布假设下，建立鲁棒性的理论保证。

提出的方法

• 该算法使用定位策略，基于几何和分布特性，隔离出可能未被污染的数据点子集。
• 通过迭代过滤方法，识别并剔除特征空间和标签空间中的异常值，以去除被污染的样本。
• 该方法依赖于均匀分布假设，以确保未被污染的点在 ℝd 的某些区域中密集聚集。
• 核心组件是一种鲁棒估计过程，仅使用定位后的高置信度数据子集计算线性分类器。
• 通过限制迭代次数和每步过滤的复杂度，确保算法具有多项式时间复杂度。
• 通过在数据覆盖范围与抗污染能力之间取得平衡，实现 η = O(1/√d) 的噪声容忍度。

实验结果

研究问题

• RQ1 我们能否设计一种高效算法，在恶意噪声下实现 η = O(1/√d) 的噪声容忍度？
• RQ2 定位技术如何在特征和标签均遭对手污染的情况下提升鲁棒性？
• RQ3 在均匀分布假设下，多项式时间可实现的噪声容忍度理论极限是什么？
• RQ4 我们能否在减少对数据分布强假设依赖的同时，保持高准确率？

主要发现

• 所提算法实现了 η = O(1/√d) 的噪声容忍度，相较于相同条件下先前方法有显著提升。
• 该算法运行时间多项式，适用于高维学习任务，计算效率高。
• 定位技术使算法即使在恒定比例样本被恶意污染时，也能隔离出未被污染的数据点。
• 理论分析证实，该方法在均匀分布下仍能保持准确率，这是定位策略成功的关键假设。
• 该方法在噪声容忍度方面优于先前算法，同时保持多项式时间复杂度。