[论文解读] On the primal-dual dynamics of Support Vector Machines

Krishna Chaitanya Kosaraju, Shravan Mohan+1 more|arXiv (Cornell University)|May 2, 2018

Control and Stability of Dynamical Systems参考文献 14被引用 5

一句话总结

本文将线性支持向量机（SVM）的原始-对偶梯度动态建模为一个连续时间动力系统，利用无源性理论和混合系统分析证明了全局渐近稳定性。无论初始条件如何，该动态系统均收敛至最优SVM解，仿真结果验证了收敛性，并通过非零拉格朗日乘子识别出支持向量。

ABSTRACT

The aim of this paper is to study the convergence of the primal-dual dynamics pertaining to Support Vector Machines (SVM). The optimization routine, used for determining an SVM for classification, is first formulated as a dynamical system. The dynamical system is constructed such that its equilibrium point is the solution to the SVM optimization problem. It is then shown, using passivity theory, that the dynamical system is global asymptotically stable. In other words, the dynamical system converges onto the optimal solution asymptotically, irrespective of the initial condition. Simulations and computations are provided for corroboration.

研究动机与目标

• 将SVM优化问题建模为一个连续时间原始-对偶动力系统，其平衡点对应于最优解。
• 在不显式依赖平衡点知识的前提下，利用无源性理论与李雅普诺夫分析，建立该动力系统的全局渐近稳定性。
• 为理解SVM训练中的收敛性、鲁棒性与分布式计算，提供一个系统理论框架。
• 为未来扩展奠定基础，包括基于端口-哈密顿结构的随机梯度下降与鲁棒控制综合。

提出的方法

• 将线性SVM表述为带有等式与不等式约束的凸优化问题。
• 推导拉格朗日对偶形式，形成涉及原始变量（权重向量β，偏置β₀）与对偶变量（拉格朗日乘子μᵢ）的鞍点问题。
• 构建连续时间原始-对偶梯度动态，使拉格朗日函数关于原始变量最小化，关于对偶变量最大化。
• 将不等式约束建模为状态依赖切换系统，实现混合系统分析。
• 应用具有多个存储函数的无源性理论，证明平衡点的全局渐近稳定性。
• 利用端口变量与互连律，实现鲁棒性与控制综合的扩展。

实验结果

研究问题

• RQ1 SVM的原始-对偶梯度动态能否被建模为一个无源的、全局渐近稳定的动力系统？
• RQ2 当不等式约束变为活动时，系统行为如何变化？这种变化在稳定性分析中如何体现？
• RQ3 拉格朗日乘子在识别支持向量中起什么作用？它们随时间如何演化？
• RQ4 能否利用无源性与混合系统理论分析原始与对偶动态的互连，以确保收敛性？
• RQ5 该框架如何扩展至梯度方法的随机或鲁棒变体？

主要发现

• 通过无源性与李雅普诺夫稳定性分析证明，原始-对偶动态对任意初始条件均全局渐近收敛至最优SVM解。
• 在平衡点处，仅有三个拉格朗日乘子（μ₈₁, μ₂₀₈, μ₅₇₇）非零，对应于定义最优分离超平面的三个支持向量。
• 闭环存储函数的演化在不等式约束变为可行时出现不连续性，与混合系统模型及多存储函数一致。
• 最优权重向量β*仅由支持向量决定：β* = μ₈₁*x₈₁ + μ₂₀₈*x₂₀₈ - μ₅₇₇*x₅₇₇。
• 仿真结果表明，β与β₀收敛至其最优值，且除支持向量外，所有μᵢ均收敛至零。
• 该框架可扩展用于基于输入/输出耗散性与端口变量的数值误差下鲁棒性分析及随机梯度下降。