[论文解读] Optimization Over Zonotopes and Training Support Vector Machines

Marshall Bern, David Eppstein|ArXiv.org|May 8, 2001

Advanced Combinatorial Mathematics参考文献 12被引用 5

一句话总结

本文建立了支持向量机（SVMs）与多面体——即线段的闵可夫斯基和构成的zonotopes——之间的几何联系，从而为训练C-SVMs提供了一套新颖的优化框架。通过利用椭球法和zonotopes的紧凑表示，作者提出了一种时间复杂度在样本数量上近乎线性、在维度和精度上为多项式依赖的多项式时间算法，在C→∞极限下实现了显式特征向量的理论高效性。

ABSTRACT

We make a connection between classical polytopes called zonotopes and Support Vector Machine (SVM) classifiers. We combine this connection with the ellipsoid method to give some new theoretical results on training SVMs. We also describe some special properties of soft margin C-SVMs as parameter C goes to infinity.

研究动机与目标

• 建立SVM训练与一类具有紧凑表示的凸多面体（zonotopes）之间的理论联系。
• 利用zonotopes的几何结构，为C-SVMs开发一种新的优化框架，以降低计算复杂度。
• 证明使用显式特征向量的C-SVM训练可在n上近乎线性、在d上为多项式时间完成，避免标准的n+d变量公式化。
• 通过C→∞极限下的自然可分性度量，探索点集的可分性。
• 研究在zonotopes上二次规划的强多项式算法的潜力。

提出的方法

• 本文将软间隔SVM问题建模为两个zonotopes交集上的线性优化：一个由正类向量构成，另一个由负类向量构成。
• 每个zonotope被定义为对应于特征向量的线段的闵可夫斯基和，其系数属于[0,1]，表示凸组合。
• 作者采用椭球法进行凸优化，依赖于zonotopes的分离 oracle 在多项式时间内可解的性质。
• 分离 oracle 通过在zonotope的生成线段上求解线性规划来高效实现，其时间复杂度在n上为线性、在d上为多项式。
• 优化目标是通过在两个zonotopes的交集中寻找第(d+1)个坐标最大的点来最大化间隔。
• 该方法利用了zonotopes可通过其生成向量实现紧凑表示的特性，避免了顶点或面的枚举。

实验结果

研究问题

• RQ1 使用显式特征向量的C-SVM训练是否可在n上近乎线性、在d上为多项式时间完成，同时避免标准的n+d变量公式化？
• RQ2 SVM决策边界的几何结构如何以zonotopes表示，以及如何利用其结构实现高效优化？
• RQ3 C→∞极限与R^d中点集之间自然可分性度量之间有何关系？
• RQ4 鉴于zonotopes的组合结构，是否存在其上的二次规划的强多项式算法？
• RQ5 椭球法是否可通过zonotope表示有效应用于SVM训练，从而实现理论上的加速？

主要发现

• 本文提出了一种在R^d中由n条线段定义的两个zonotopes交集上的多项式时间算法，运行时间在n上为线性、在d、L和log n上为多项式。
• 对于使用显式特征向量的C-SVM，算术运算次数在n上为线性、在d、L和log n上为多项式，显著优于标准的O((n+d)^3 L)界。
• 该算法通过利用zonotopes的紧凑闵可夫斯基和表示实现高效性，避免了完整的顶点或面枚举。
• 该方法为SVM训练提供了一套新的理论框架，将特征空间的复杂度与训练样本数量分离。
• 在C→∞极限下，该算法计算出正负类线性可分的最大μ值，提供了一种自然的可分性度量。
• 结果表明，鉴于zonotopes具有O(n)图直径和组合结构，它们可能支持二次规划的强多项式算法。