[论文解读] Qualitative Robustness of Support Vector Machines

Robert Hable, Andreas Christmann|arXiv (Cornell University)|Dec 4, 2009

Face and Expression Recognition参考文献 19被引用 4

一句话总结

本文通过证明在弱收敛下，概率测度到支持向量机（SVM）解的泛函映射的连续性，建立了支持向量机在定性上的鲁棒性。关键贡献在于表明SVM在Hadamard意义下是适定的，确保在小的分布扰动下解的稳定性。

ABSTRACT

Support vector machines have attracted much attention in theoretical and in applied statistics. Main topics of recent interest are consistency, learning rates and robustness. In this article, it is shown that support vector machines are qualitatively robust. Since support vector machines can be represented by a functional on the set of all probability measures, qualitative robustness is proven by showing that this functional is continuous with respect to the topology generated by weak convergence of probability measures. Combined with the existence and uniqueness of support vector machines, our results show that support vector machines are the solutions of a well-posed mathematical problem in Hadamard's sense.

研究动机与目标

• 在非参数统计学习中建立支持向量机的定性鲁棒性。
• 解决SVM在非参数统计中对数据分布小偏差的脆弱性这一已知问题。
• 利用泛函分析和概率测度的弱收敛，形式化SVM的鲁棒性。
• 表明SVM在Hadamard意义下是适定问题，从而确保解的稳定性和可靠性。

提出的方法

• 将SVM估计器表示为一个泛函S，其将X×Y上的概率测度映射到再生核希尔伯特空间（RKHS）中的函数。
• 采用Cuevas对函数值估计器的定性鲁棒性的一般化定义。
• 证明泛函S关于概率测度弱收敛的连续性。
• 应用泛函分析和测度论的结果，包括弱收敛和紧性。
• 以SVM的现有相合性和唯一性结果作为基础假设。
• 依赖由弱收敛诱导的拓扑，以Hampel和Cuevas意义下的鲁棒性来定义。

实验结果

研究问题

• RQ1 在底层数据分布的小扰动下，SVM估计器是否具有定性鲁棒性？
• RQ2 从经验测度到SVM解的泛函映射在弱收敛下是否保持连续？
• RQ3 SVM能否被视为Hadamard意义下的适定问题，从而确保稳定性？
• RQ4 SVM的定性鲁棒性与非参数设置下经典鲁棒估计器相比如何？
• RQ5 何种拓扑条件可确保SVM解在分布变化下的稳定性？

主要发现

• 支持向量机具有定性鲁棒性，因为将概率测度映射到SVM解的泛函S在弱收敛下是连续的。
• S的连续性确保底层分布的微小变化仅导致SVM解的微小变化，从而防止性能的剧烈下降。
• 结合SVM解的存在性和唯一性，这表明SVM在Hadamard意义下是适定的。
• 该结果在输入空间X、输出空间Y和损失函数的一般条件下成立，前提是RKHS是可分的且核函数是可测的。
• 该框架适用于通过SVM实现的分类和回归，将鲁棒性扩展到非参数学习。
• 证明依赖于测度论工具，包括紧性和弱收敛，以在无穷维函数空间中建立连续性。