[论文解读] The Local Rademacher Complexity of Lp-Norm Multiple Kernel Learning

Marius Kloft, Gilles Blanchard|arXiv (Cornell University)|Mar 3, 2011

Machine Learning and Algorithms参考文献 26被引用 32

一句话总结

该论文在核特征映射不相关假设下，为所有 p ∈ [1, ∞] 的 ℓₚ-范数多核学习（MKL）推导出一个紧致的局部 Rademacher 复杂度上界。该分析得到了 O(n⁻ᵅ/(1+α)) 阶的更快过失风险收敛速率，其中 α 为各核的最小特征值衰减率，并通过匹配的下界证明了该上界的紧致性。

ABSTRACT

We derive an upper bound on the local Rademacher complexity of $\ell_p$-norm multiple kernel learning, which yields a tighter excess risk bound than global approaches. Previous local approaches aimed at analyzed the case $p=1$ only while our analysis covers all cases $1\leq p\leq\infty$, assuming the different feature mappings corresponding to the different kernels to be uncorrelated. We also show a lower bound that shows that the bound is tight, and derive consequences regarding excess loss, namely fast convergence rates of the order $O(n^{-\fracα{1+α}})$, where $α$ is the minimum eigenvalue decay rate of the individual kernels.

研究动机与目标

• 推导出比全局复杂度方法更紧致的 ℓₚ-范数多核学习泛化上界。
• 将局部 Rademacher 复杂度分析从先前研究的 ℓ₁ 情况扩展至所有 p ∈ [1, ∞]，在核映射不相关的假设下。
• 通过匹配的下界证明所推导上界的紧致性。
• 以单个核的特征值衰减率 α 表征过失损失的收敛速率。
• 为实践中中间 ℓₚ 范数（1 < p < ∞）优于 ℓ₁ 和 ℓ∞ 提供理论依据。

提出的方法

• 该分析采用局部 Rademacher 复杂度技术，以界定向量 ℓₚ-范数 MKL 函数的期望风险偏差。
• 利用 ℓₚ-MKL 与乘积希尔伯特空间中块-ℓ₂,ₚ 正则化学习之间的等价性。
• 该界在不同核对应的特征映射不相关的假设下推导得出。
• 关键技术环节是利用矩不等式和 Young 不等式来控制有界随机变量的 q 阶矩。
• 证明过程涉及使用泊松矩界和 Stirling 公式来有界 i.i.d. 随机变量之和的期望。
• 通过构造匹配的下界，表明上界在常数因子意义下是紧致的。

实验结果

研究问题

• RQ1 局部 Rademacher 复杂度分析能否为 ℓₚ-范数多核学习提供比全局方法更紧致的泛化上界？
• RQ2 所推导的上界是否适用于所有 p ∈ [1, ∞]，而不仅限于先前研究的 p = 1？
• RQ3 所推导的上界是否紧致，能否建立匹配的下界？
• RQ4 以单个核的特征值衰减率 α 表征的过失风险收敛速率为何？
• RQ5 为何实践中中间 ℓₚ 范数（1 < p < ∞）通常优于 ℓ₁ 和 ℓ∞？

主要发现

• 该论文推导出 ℓₚ-范数 MKL 局部 Rademacher 复杂度的上界，对所有 p ∈ [1, ∞] 均优于全局上界。
• 该上界给出了 O(n⁻ᵅ/(1+α)) 阶的过失风险收敛速率，其中 α 为单个核的最小特征值衰减率。
• 通过匹配的下界证明该上界是紧致的，确认其在常数因子意义下的最优性。
• 该分析覆盖所有 ℓₚ 范数（1 ≤ p ≤ ∞），扩展了先前仅限于 p = 1 的研究。
• 结果为多核学习中中间 ℓₚ 范数（1 < p < ∞）的实证成功提供了理论依据。
• 技术证明依赖于泊松分布随机变量的矩界和 Stirling 公式，以控制高阶矩。