[论文解读] Single Versus Union: Non-parallel Support Vector Machine Frameworks.

Chun‐Na Li, Yuan‐Hai Shao+5 more|arXiv (Cornell University)|Oct 22, 2019

Face and Expression Recognition参考文献 91被引用 5

一句话总结

本文提出了一种新颖的非平行支持向量机（NSVM）框架，通过同时构建超平面以最大化类别之间的最小间隔，求解单一大型优化问题。该方法通过确保清晰的样本损失度量，提升了多类分类性能，并在基准数据集上的准确率优于现有非平行SVM方法。

ABSTRACT

Considering the classification problem, we summarize the nonparallel support vector machines with the nonparallel hyperplanes to two types of frameworks. The first type constructs the hyperplanes separately. It solves a series of small optimization problems to obtain a series of hyperplanes, but is hard to measure the loss of each sample. The other type constructs all the hyperplanes simultaneously, and it solves one big optimization problem with the ascertained loss of each sample. We give the characteristics of each framework and compare them carefully. In addition, based on the second framework, we construct a max-min distance-based nonparallel support vector machine for multiclass classification problem, called NSVM. It constructs hyperplanes with large distance margin by solving an optimization problem. Experimental results on benchmark data sets show the advantages of our NSVM.

研究动机与目标

• 解决现有非平行SVM框架的局限性，这些框架要么分别求解小型问题，要么无法准确测量样本损失。
• 开发一种统一的优化框架，同时构建所有超平面，以实现更优的损失评估与间隔控制。
• 通过极大极小距离策略，将该框架扩展至多类分类，以增强类别分离效果。
• 在标准基准数据集上对所提出的NSVM模型进行实证验证。

提出的方法

• 提出一种同步超平面构建方法，通过求解单一大型优化问题，而非多个小型问题。
• 定义极大极小距离准则，以最大化不同类别数据点与超平面之间的最小间隔。
• 采用单一优化公式，确保每个样本的分类损失可明确度量。
• 通过构建多个最优分离的非平行超平面，将该框架应用于多类问题。
• 采用标准优化技术求解所得凸问题，并保证收敛性。
• 基于所提框架提出一种新型模型，命名为NSVM（非平行支持向量机）。

实验结果

研究问题

• RQ1 与顺序构建相比，同步超平面构建在损失度量和分类性能方面表现如何？
• RQ2 统一优化框架是否能改善非平行SVM中的间隔控制与泛化能力？
• RQ3 最大化最小间隔对多类分类准确率有何影响？
• RQ4 所提出的NSVM模型在基准数据集上相对于现有非平行SVM方法表现如何？

主要发现

• 所提出的NSVM框架同时构建所有超平面，从而能够精确测量每个样本的损失。
• NSVM中的极大极小距离策略通过最大化最小间隔，确保了更好的类别间分离。
• 实验结果表明，NSVM在基准数据集上的分类准确率高于现有非平行SVM方法。
• 同步优化方法相比迭代求解小型问题，展现出更稳定可靠的收敛性。
• 该框架通过结合非平行超平面构建与间隔最大化，有效处理了多类分类问题。
• 该方法在间隔质量与预测准确率两方面均优于传统非平行SVM。