[论文解读] Structured Sparsity and Generalization

Andreas Maurer, Massimiliano Pontil|arXiv (Cornell University)|Aug 17, 2011

Statistical Methods and Inference参考文献 26被引用 59

一句话总结

本文提出了一种适用于通过希尔伯特空间上有界线性算子集合上定义的下确界卷积范数来施加结构化稀疏性的正则化学习算法的一般数据依赖泛化界。关键贡献是适用于无限维设定（如可分希尔伯特空间中的Lasso或可数个核的多核学习）的无维数Rademacher复杂度界，从而在避免典型维度依赖的对数因子的前提下，实现更紧致、更灵活的泛化保证。

ABSTRACT

We present a data dependent generalization bound for a large class of regularized algorithms which implement structured sparsity constraints. The bound can be applied to standard squared-norm regularization, the Lasso, the group Lasso, some versions of the group Lasso with overlapping groups, multiple kernel learning and other regularization schemes. In all these cases competitive results are obtained. A novel feature of our bound is that it can be applied in an infinite dimensional setting such as the Lasso in a separable Hilbert space or multiple kernel learning with a countable number of kernels.

研究动机与目标

• 开发一种适用于广泛类别的施加结构化稀疏性的正则化学习算法的一般性、数据依赖泛化界。
• 将现有的Rademacher复杂度界扩展至无限维希尔伯特空间，特别是适用于可分希尔伯特空间中的Lasso和可数核集合的多核学习。
• 消除经典界中常见的与维度相关的 log(d) 因子，实现在有限二阶矩条件下的无维数泛化保证。
• 在单一理论框架下统一并推广现有针对岭回归、Lasso、组Lasso和多核学习的界。

提出的方法

• 将结构化稀疏性正则化项定义为希尔伯特空间 H 上对称有界线性算子集合 M 上的下确界卷积。
• 引入对偶范数 ‖z‖_M* = sup_{M∈M} ‖Mz‖，以简化Rademacher复杂度的分析。
• 通过对偶性和矩不等式推导经验Rademacher复杂度 R_M(x) 的界，得到 R_M(x) ≤ (2^{3/2}/n) × √[sup_M ∑_i ‖Mx_i‖²] × (2 + √(ln(∑_M ‖Mx_i‖² / sup_N ∑_j ‖Nx_j‖²)))
• 当 M 为有限集时，建立更紧致的、与分布相关的界：在 ‖X‖_M* ≤ C 条件下，有 R_M(X) ≤ (2^{3/2}C / √n) × (2 + √(ln|M|))
• 通过选择适当的算子集合 M，将该界应用于具体算法，包括Lasso、组Lasso、多核学习和混合-norm正则化。
• 利用高斯和Rademacher混沌的矩界来控制经验过程的期望上确界，结合希尔伯特-施密特范数与 ℓ_p/ℓ_{p/2} 三角不等式。

实验结果

研究问题

• RQ1 能否为结构化稀疏性正则化推导出一种一般性、数据依赖的泛化界，从而避免对维度的 log(d) 依赖？
• RQ2 是否可能将Rademacher复杂度界扩展至无限维设定，如可分希尔伯特空间中的Lasso或多核学习中可数个核的情形？
• RQ3 与现有界相比，该提出的界在Lasso和组Lasso等标准正则化方案中的紧致性和适用性如何？
• RQ4 能否在保持捕捉结构化稀疏模式内在复杂性的同时，使该界实现无维数化？

主要发现

• 所提出的界是无维数的，适用于无限维设定，如可分希尔伯特空间中的Lasso或多可数个核的多核学习，前提是满足二阶矩条件 ∑_M ‖M‖_HS^p < ∞。
• 当 M 为有限集时，界 R_M(X) ≤ (2^{3/2}C / √n)(2 + √(ln|M|)) 是与分布相关的，且避免了先前界中常见的 log(d) 因子。
• 该界恢复并改进了现有针对标准正则化方案（包括岭回归、Lasso、组Lasso和多核学习）的结果，仅存在微小的常数差异。
• 该界在紧致性意义上是紧的，因为 log(d) 因子在一般情况下不可避免，而当 d 被替换为有效维数 R² = ∑_M ‖M‖_HS^2 时，所提界与该下界一致。
• 该方法使得在可数无限核的多核学习中实现泛化保证成为可能，前提是希尔伯特-施密特范数的 p 次幂之和为有限。
• 分析表明，通过使用对偶范数和算子范数，可以控制Rademacher复杂度，从而为结构化稀疏性提供统一的理论框架。