[论文解读] On $\ell_p$-Support Vector Machines and Multidimensional Kernels

Víctor Blanco, Justo Puerto+1 more|arXiv (Cornell University)|Nov 28, 2017

Tensor decomposition and applications参考文献 20被引用 3

一句话总结

该论文将支持向量机扩展至 $β$-范数（$p > 1$），将原始问题与对偶问题分别表述为第二类锥规划与多项式优化问题。提出基于齐次多项式与实张量的多维核函数，对核技巧进行推广，实现通过矩-SOCP与Schauder空间近似实现高效分类，实证结果表明其在 $\ell_{4/3}$-范数下性能优于或媲美 $β$-SVM，尤其在 $\ell_{4/3}$-范数下表现突出。

ABSTRACT

In this paper, we extend the methodology developed for Support Vector Machines (SVM) using $\ell_2$-norm ($\ell_2$-SVM) to the more general case of $\ell_p$-norms with $p\ge 1$ ($\ell_p$-SVM). The resulting primal and dual problems are formulated as mathematical programming problems; namely, in the primal case, as a second order cone optimization problem and in the dual case, as a polynomial optimization problem involving homogeneous polynomials. Scalability of the primal problem is obtained via general transformations based on the expansion of functionals in Schauder spaces. The concept of Kernel function, widely applied in $\ell_2$-SVM, is extended to the more general case by defining a new operator called multidimensional Kernel. This object gives rise to reformulations of dual problems, in a transformed space of the original data, which are solved by a moment-sdp based approach. The results of some computational experiments on real-world datasets are presented showing rather good behavior in terms of standard indicators such a extit{accuracy index} and its ability to classify new data.

研究动机与目标

• 构建适用于 $β$-范数支持向量机（$β$-SVM）的统一理论框架，其中 $p > 1$，推广标准 $β$-SVM。
• 通过引入基于对称实张量的多维核函数，将 $β$-SVM 中的核心核技巧推广至欧几里得范数之外。
• 利用第二类锥规划与多项式优化，提供可扩展的原始与对偶形式化。
• 通过矩-SOCP与基于Schauder空间的函数逼近方法，实现无需显式数据映射的高效求解。
• 在真实世界数据集上，对不同范数与核类型下的 $β$-SVM 性能进行实证评估。

提出的方法

• 将 $β$-SVM 在原始问题中表述为第二类锥规划（SOCP），通过锥优化实现可扩展求解。
• 将对偶问题重述为涉及齐次多项式的多项式优化问题，从而可应用矩-SOCP技术。
• 提出多维核函数的概念，作为标准核函数的推广，通过适当阶数与维度的对称实张量定义。
• 建立对称实张量诱导有效多维核函数的充分条件。
• 采用矩-SOCP方法，通过一系列收敛至最优解的半定规划序列求解对偶问题。
• 在Schauder空间中应用有限展开，实现无需显式数据映射的函数变换近似，同时在 $β$-SVM 框架中保持核技巧的高效性。

实验结果

研究问题

• RQ1 如何在保持计算可处理性的前提下，将 $β$-SVM 框架推广至任意 $β$-范数（$p > 1$）？
• RQ2 核技巧在 $β$-SVM 中的适当推广应如何实现，以超越 $β$-范数情形？
• RQ3 基于齐次多项式与实张量的多维核函数是否能有效实现 $β$-SVM 中的非线性分类？
• RQ4 不同 $β$-范数（如 $\ell_{4/3}$、$\ell_2$ 等）在分类准确率与稀疏性方面如何比较？
• RQ5 在不进行显式数据变换的前提下，能否通过Schauder空间中的函数逼近方法，在 $β$-SVM 中有效保持核技巧？

主要发现

• $\ell_{4/3}$-范数在多个数据集上始终取得最佳或接近最佳的测试准确率，部分情况下优于标准 $\ell_2$-SVM。
• 在cleveland与german credit数据集中，$\widetilde{\Phi}[\eta]$ 下的非线性变换（$\eta = 4$ 与 $\eta = 3$）相比线性变换取得了更高的测试准确率，表明非线性具有优势。
• $\ell_2$-SVM 因其直接的二次规划形式求解最快，但其他范数如 $\ell_{4/3}$ 展现出更优的稀疏性，表现为更少的非零 $\omega$-系数。
• 观察到过拟合现象：训练准确率达到 $100\%$ 并未保证测试性能更优，尤其在高阶变换下更为明显。
• 多维核函数框架成功实现了在 $\ell_p$-SVM 框架下的基于核的分类，且通过矩-SOCP实现收敛性保证。
• 基于Schauder空间的方法实现了对函数变换的有效近似，无需显式数据映射，同时保持了核技巧在 $β$-SVM 中的效率。