[论文解读] Radial basis function kernel optimization for Support Vector Machine classifiers

Karl Thurnhofer‐Hemsi, Ezequiel López‐Rubio+2 more|arXiv (Cornell University)|Jul 16, 2020

Face and Expression Recognition参考文献 19被引用 14

一句话总结

该论文提出 OKSVM 算法，通过交替梯度下降联合优化径向基函数（RBF）核超参数与 SVM 对偶权重。无论初始 γ 值如何，该方法在合成数据集和真实数据集上均优于标准 SVM，展现出鲁棒、自动化的超参数调优能力，并在分类准确率和 F1 分数方面表现更优。

ABSTRACT

Support Vector Machines (SVMs) are still one of the most popular and precise classifiers. The Radial Basis Function (RBF) kernel has been used in SVMs to separate among classes with considerable success. However, there is an intrinsic dependence on the initial value of the kernel hyperparameter. In this work, we propose OKSVM, an algorithm that automatically learns the RBF kernel hyperparameter and adjusts the SVM weights simultaneously. The proposed optimization technique is based on a gradient descent method. We analyze the performance of our approach with respect to the classical SVM for classification on synthetic and real data. Experimental results show that OKSVM performs better irrespective of the initial values of the RBF hyperparameter.

研究动机与目标

• 解决 SVM 性能对初始 RBF 核超参数（γ）值敏感的问题。
• 开发一种自动方法，联合优化 RBF 核参数与 SVM 对偶权重。
• 克服标准 SVM 中网格搜索与无信息超参数调优的局限性。
• 确保在联合优化核参数与模型参数过程中实现稳定可靠的收敛。
• 在多样化合成数据集与真实世界数据集上，证明该方法相较于标准 SVM 具有更优的性能表现。

提出的方法

• 将带有 RBF 核的 SVM 对偶优化问题公式化，其中核参数 γ 被视为可学习的超参数。
• 在两个梯度下降步骤间交替进行：首先在固定 γ 的情况下优化拉格朗日乘子（α），然后在固定 α 的情况下优化 γ。
• 使用受控步长的梯度下降，以确保在超参数更新过程中实现收敛与稳定性。
• 推导对偶拉格朗日函数关于 γ 的梯度，以支持 RBF 核参数的端到端优化。
• 引入保护机制，防止在核矩阵病态时 γ 优化过程发散。
• 将该方法集成至标准 SVM 流程中，实现无需网格搜索或交叉验证循环的自动调优。

实验结果

研究问题

• RQ1 与标准 SVM 相比，联合优化 RBF 核超参数 γ 与 SVM 对偶权重是否能提升分类性能？
• RQ2 该方法在不同数据集上对 γ 的不同初始值是否具有鲁棒性？
• RQ3 针对 γ 与 α 的交替梯度下降方法是否能实现稳定且收敛的优化？
• RQ4 该方法在准确率、F1 分数与 AUC 指标上是否优于传统的基于网格搜索的调优方法？
• RQ5 该方法是否适用于真实世界分类应用中的自动化、可靠超参数调优？

主要发现

• 无论初始 γ 值如何，OKSVM 在所有合成数据集上的 F1 分数均高于标准 SVM，表明其对初始化具有鲁棒性。
• 在威斯康星州乳腺癌数据集上，OKSVM 的平均 F1 分数为 0.947，仅在 γ 被最优调优时，标准 SVM 的 F1 分数（0.951）略高。
• 在银行票据认证数据集上，OKSVM 在所有运行中均达到完美的 F1 与 AUC 分数（1.000），而标准 SVM 在最优调优下仅达到 0.991 的 F1 分数。
• 在真实数据集的 5 折交叉验证中，除乳腺癌-威斯康星数据集外，OKSVM 在至少一个指标（F1、AUC 或准确率）上优于标准 SVM，后者在超参数手动调优时表现略优。
• 热力图结果显示，OKSVM 在 C 与 γ 值的广泛范围内均保持高性能，表明其对初始超参数设置不敏感。
• 在红葡萄酒质量数据集上，OKSVM 的 AUC（0.785）与 F1（0.750）分数均高于标准 SVM 的 AUC（0.788）与 F1（0.749），表现更优。