[论文解读] Multiple Kernel Learning: A Unifying Probabilistic Viewpoint

Hannes Nickisch, Matthias Seeger|arXiv (Cornell University)|Mar 4, 2011

Gaussian Processes and Bayesian Inference参考文献 16被引用 8

一句话总结

该论文在概率框架下统一了多核学习（MKL），表明正则化风险方法是近似贝叶斯推断的特例。它提出了一种可证明收敛的高效双循环优化算法，联合优化核权重与隐函数，适用于回归、鲁棒回归和分类任务。

ABSTRACT

We present a probabilistic viewpoint to multiple kernel learning unifying well-known regularised risk approaches and recent advances in approximate Bayesian inference relaxations. The framework proposes a general objective function suitable for regression, robust regression and classification that is lower bound of the marginal likelihood and contains many regularised risk approaches as special cases. Furthermore, we derive an efficient and provably convergent optimisation algorithm.

研究动机与目标

• 在统一的理论框架下统一正则化风险方法与概率核学习。
• 阐明广泛使用但彼此分离的MKL方法（来自正则化风险与贝叶斯推断两个阵营）之间的联系。
• 开发一种通用优化算法，高效处理不同学习任务下的多核学习。
• 提供一个统一的核学习视角，涵盖MAP、边缘似然最大化以及变分贝叶斯近似。
• 确保收敛性与计算效率，且无需依赖外部优化库。

提出的方法

• 提出一个统一的目标函数，作为边缘似然的下界，并推广正则化风险准则。
• 推导出一种双循环优化算法，通过牛顿型步骤交替更新隐函数值与核权重。
• 利用勒让德对偶性处理边缘似然中的对数行列式项，实现对非凸优化问题的凸松弛。
• 采用障碍法强制核权重的非负性约束，确保数值稳定性。
• 对对数行列式项采用切线近似，实现高效的海森矩阵计算，并保证可证明收敛。
• 通过重参数化隐变量并使用Cholesky分解实现高效矩阵运算，将框架适配至变分贝叶斯与MAP估计。

实验结果

研究问题

• RQ1 正则化风险最小化与概率核学习如何在单一框架内实现形式化连接？
• RQ2 包括MAP、MLM和变分贝叶斯在内的多种MKL方法背后，是否存在共同的优化结构？
• RQ3 能否设计一种单一、高效且可证明收敛的算法，适用于回归、鲁棒回归和分类任务下的多核学习？
• RQ4 边缘似然中的对数行列式项起什么作用？在非凸设置下如何高效近似？
• RQ5 MAP、MLM与VB的算法结构有何关联？其统一处理能揭示何种新见解？

主要发现

• 所提出的框架将正则化风险、MAP与边缘似然最大化统一为单一概率目标函数的特例。
• 双循环算法通过切线近似与牛顿步长实现可证明收敛，每次迭代的时间复杂度为 $ O(n^3 + M n^2) $。
• 通过障碍法与对偶参数化有效处理非凸性，确保核权重保持非负。
• 对于变分贝叶斯，由于需要Cholesky分解，算法时间复杂度为 $ O(M n^3) $，与标准拉普拉斯近似一致。
• 框架揭示，当进行重参数化后，联合MAP与VB具有相同的凸性结构，从而实现统一优化。
• 实验验证表明，该算法收敛速度优于标准交替最小化，且在回归与分类任务中表现出更高的稳定性和准确性。