[论文解读] Non-Sparse Regularization for Multiple Kernel Learning

Marius Kloft, Ulf Brefeld+2 more|arXiv (Cornell University)|Feb 27, 2010

Domain Adaptation and Few-Shot Learning参考文献 69被引用 5

一句话总结

本文提出了一种使用任意 ℓp-范数（p > 1）的非稀疏正则化方法用于多核学习（MKL），引入了高效的交错优化策略，其性能优于传统的包装器方法。在生物信息学数据集上的实证结果表明，非稀疏 MKL 实现了最先进的准确率，挑战了稀疏正则化普遍更优的假设。

ABSTRACT

Learning linear combinations of multiple kernels is an appealing strategy when the right choice of features is unknown. Previous approaches to multiple kernel learning (MKL) promote sparse kernel combinations to support interpretability and scalability. Unfortunately, this 1-norm MKL is rarely observed to outperform trivial baselines in practical applications. To allow for robust kernel mixtures, we generalize MKL to arbitrary norms. We devise new insights on the connection between several existing MKL formulations and develop two efficient interleaved optimization strategies for arbitrary norms, like p-norms with p>1. Empirically, we demonstrate that the interleaved optimization strategies are much faster compared to the commonly used wrapper approaches. A theoretical analysis and an experiment on controlled artificial data experiment sheds light on the appropriateness of sparse, non-sparse and $\ell_\infty$-norm MKL in various scenarios. Empirical applications of p-norm MKL to three real-world problems from computational biology show that non-sparse MKL achieves accuracies that go beyond the state-of-the-art.

研究动机与目标

• 解决稀疏 MKL 的局限性，尽管其在理论上具有吸引力，但在实际应用中常表现不如简单的基线方法。
• 将 MKL 的推广从 ℓ1-范数正则化扩展到任意范数，包括 ℓp-范数（p > 1）。
• 设计高效的优化算法，通过交错更新核组合与 SVM 训练，实现可扩展性和高速度。
• 在不同数据条件下，研究稀疏、非稀疏和 ℓ∞-范数 MKL 在理论和实证上的适用性。
• 证明非稀疏 MKL 可在真实世界生物数据集上实现最先进的性能。

提出的方法

• 通过在核混合系数上使用 ℓp-范数正则化（p > 1）来推广 MKL，将优化问题形式化。
• 提出两种高效的交错优化策略，交替更新核权重与训练 SVM 分类器，避免昂贵的包装器循环。
• 利用凸共轭对偶性和块坐标下降法，推导出优化问题的高效更新规则。
• 利用强对偶性和约束资格条件，证明在活跃约束下，Tikhonov 与 Ivanov 正则化形式等价。
• 将所提方法应用于真实世界的计算生物学问题，包括基因表达和蛋白质分类任务。
• 理论分析推导出依赖于范数参数 p 的泛化界，表明仅当真实解为稀疏时，ℓ1 才是最优的。

实验结果

研究问题

• RQ1 通过 ℓp-范数（p > 1）实现的非稀疏正则化是否在实际应用中比 ℓ1-范数 MKL 具有更好的泛化性能？
• RQ2 与标准的基于包装器的方法相比，交错优化策略是否能显著减少训练时间？
• RQ3 在何种条件下，非稀疏 MKL 在理论上和实证上优于稀疏 MKL？
• RQ4 范数的选择（如 ℓ1、ℓ2、ℓ∞）如何影响泛化界和模型性能？
• RQ5 在高维核空间中，稀疏解普遍有益的假设在真实世界数据中是否成立？

主要发现

• 使用 ℓp-范数（p > 1）的非稀疏 MKL 在三个真实世界计算生物学数据集上实现了最先进的准确率，优于现有方法。
• 所提出的交错优化策略显著快于传统的包装器方法，支持大规模 MKL 训练。
• 人工数据上的实证结果表明，当真实核组合非稀疏时，非稀疏 MKL 表现更优，挑战了 ℓ1 正则化的主导地位。
• 理论分析确认，仅当真实解为稀疏时，ℓ1-范数正则化才能提供更紧的泛化界；否则其他范数可能更优。
• 在活跃约束下，Tikhonov 与 Ivanov 正则化形式的等价性得到正式证明，从而支持优化问题的灵活重构。
• 针对 ℓp-范数 MKL 推导出的泛化界表明，仅当底层解为稀疏时，p = 1 才使边界最小化，表明不存在对稀疏性的普遍偏好。