[论文解读] Sparse Robust Classification via the Kernel Mean

Brendan van Rooyen, Aditya Krishna Menon+1 more|arXiv (Cornell University)|Jun 4, 2015

Machine Learning and ELM被引用 2

一句话总结

本文提出核均值分类器——一种稀疏、鲁棒且理论基础坚实的分类方法，利用训练样本的等权重核相似度进行分类。该方法展示了的一致性，对对称标签噪声具有免疫性，并通过子采样实现了可证明的稀疏化，为标准核方法提供了一种简单但强大的替代方案，具有坚实的理论保证和实证验证。

ABSTRACT

Many leading classification algorithms output a classifier that is a weighted average of kernel evaluations. Optimizing these weights is a nontrivial problem that still attracts much research effort. Furthermore, explaining these methods to the uninitiated is a difficult task. Letting all the weights be equal leads to a conceptually simpler classification rule, one that requires little effort to motivate or explain, the mean. Here we explore the consistency, robustness and sparsification of this simple classification rule.

研究动机与目标

• 开发一种概念上简单但理论严谨的分类方法，基于核均值，避免复杂的权重优化。
• 在对称标签噪声下建立核均值分类器的理论鲁棒性，表明其在代理损失方法中具有唯一免疫性。
• 通过子采样提供可证明的稀疏化保证，实现对任意核分类器的高效近似。
• 在基准数据集上实证验证所提方法的稀疏性和鲁棒性。

提出的方法

• 分类器计算测试样本与所有训练样本之间核相似度的带符号平均值，使用等权重：f(x) = sign(1/n ∑ᵢ yᵢK(xᵢ, x))。
• 理论分析表明，核均值是分类校准损失函数的经验风险最小化器，在温和条件下确保一致性。
• 通过证明该方法对对称标签噪声具有不变性，并对小噪声水平具有免疫性，从而建立其鲁棒性，这与标准方法不同。
• 提出一种子采样方案，以稀疏方式近似任意核分类器，理论界定了近似误差与子样本大小和稀疏度的关系。
• 利用统计学习理论中的工具（如风险分解、边界分析和浓度不等式，例如McDiarmid不等式）推导理论保证。
• 表明该方法等价于在分类校准下最小化线性损失 ℓ(y, v) = λyv，从而与已知的代理损失建立联系。

实验结果

研究问题

• RQ1 核均值分类器是否在自然损失函数下具有一致性和最优性？
• RQ2 在对称标签噪声下，核均值分类器是否能保持性能，而标准方法会失效？
• RQ3 通过子采样对核分类器进行稀疏化，可提供哪些理论保证？
• RQ4 在鲁棒性和近似质量方面，核均值分类器与标准核方法相比如何？
• RQ5 核均值分类器能否实现高效实现并附带可证明的误差界？

主要发现

• 核均值分类器是分类校准损失函数的经验风险最小化器，确保了一致性及最优收敛速率。
• 该方法对对称标签噪声具有唯一鲁棒性：即使标签以相等概率被翻转，其仍保持一致性，而标准代理损失方法则不然。
• 核均值分类器避免了[30]的负面结果，后者表明小噪声可破坏标准核方法。
• 子采样方案实现了任意核分类器的k-稀疏近似，误差界为O(1/√m)，其中m为子样本大小。
• 理论分析表明，随着子样本大小增加，近似误差减小，且在多种噪声模型下该方法具有可证明的鲁棒性。
• 实证结果证实了该方法对标签噪声的鲁棒性以及稀疏化的有效性，表现出高精度和低计算成本。