[论文解读] Multiple kernel multivariate performance learning using cutting plane algorithm

Jingbin Wang, Haoxiang Wang+2 more|arXiv (Cornell University)|Aug 25, 2015

Advanced Computing and Algorithms参考文献 46被引用 15

一句话总结

本文提出了一种新颖的多核学习框架，通过联合优化分类器参数与核权重，以最大化非线性、非光滑的多变量性能度量（如AUC、F1和MCC）。通过构建统一的目标函数，并利用迭代切平面算法求解，该方法在多个基准数据集和真实应用场景（包括语音评估与模式分类）中均优于现有最先进方法。

ABSTRACT

In this paper, we propose a multi-kernel classifier learning algorithm to optimize a given nonlinear and nonsmoonth multivariate classifier performance measure. Moreover, to solve the problem of kernel function selection and kernel parameter tuning, we proposed to construct an optimal kernel by weighted linear combination of some candidate kernels. The learning of the classifier parameter and the kernel weight are unified in a single objective function considering to minimize the upper boundary of the given multivariate performance measure. The objective function is optimized with regard to classifier parameter and kernel weight alternately in an iterative algorithm by using cutting plane algorithm. The developed algorithm is evaluated on two different pattern classification methods with regard to various multivariate performance measure optimization problems. The experiment results show the proposed algorithm outperforms the competing methods.

研究动机与目标

• 解决在非线性多变量性能度量优化中选择最优核函数及其参数的挑战。
• 将分类器参数与核权重的学习统一到单一优化框架中，以提升性能。
• 克服单核方法对核选择敏感且在参数调优过程中易过拟合的局限性。
• 开发一种可扩展且高效的算法，以处理AUC和F1等性能度量固有的非线性和非光滑性。
• 在多样化的模式分类问题（包括生物医学与语音分析任务）中，验证所提方法的有效性。

提出的方法

• 构建统一的目标函数，通过同时学习分类器参数与核权重，最小化给定多变量性能度量的上界。
• 将最优核表示为多个候选核函数的加权线性组合，实现多核学习（MKL）。
• 使用切平面算法，通过交替更新分类器参数与核权重，迭代优化目标函数。
• 应用核技巧将数据映射到高维特征空间，从而在保持性能度量结构的同时实现非线性决策边界。
• 采用分层优化策略，在性能度量非光滑的情况下仍能保持凸性与收敛性保证。
• 集成切平面方法，以高效处理多变量性能度量中不可微与非凸的组成部分。

实验结果

研究问题

• RQ1 统一的优化框架能否联合学习最优分类器参数与核权重，以最大化多变量性能度量？
• RQ2 所提方法在优化AUC、F1、MCC及其他复杂性能度量时，与CAPO、FSPO和NDLO等最先进方法相比表现如何？
• RQ3 在非线性分类任务中，多核学习相较于单核方法在多大程度上提升了性能？
• RQ4 迭代切平面算法是否能有效处理多变量性能度量的非光滑与非凸特性？
• RQ5 所提方法在诸如语音评估与生物医学模式识别等多样化真实应用场景中是否具备良好的泛化能力？

主要发现

• 如图1的箱线图所示，所提MKLPO方法在所有评估的性能度量上均显著优于CAPO、FSPO和NDLO，表现优异。
• 在康复性语音治疗评估任务中，MKLPO的中位MCC值超过0.900，优于所有基线方法。
• 在AUC与PR-BEP指标上，MKLPO在10折交叉验证中始终取得最佳的中位数与四分位距表现。
• 该方法展现出强鲁棒性与优越泛化能力，尤其在优化MCC与F1等复杂非线性性能度量时表现突出。
• 基于切平面的迭代优化方法有效收敛，且无需可微近似即可处理多变量度量的非光滑性。
• 多核集成显著提升了性能，即使在使用核技巧的单核方法中，其在核空间探索方面也更具优势。