[论文解读] Structured sparsity-inducing norms through submodular functions

Francis Bach|arXiv (Cornell University)|Aug 25, 2010

Stochastic Gradient Optimization Techniques参考文献 48被引用 59

一句话总结

本文提出了一种使用非递减亚模集函数的结构化稀疏性诱导范数的一般框架，表明其凸包络可通过Löwner扩展导出。核心贡献是为一大类结构化范数（包括重叠组范数和新型非可分解先验）提供了统一的理论与算法方法，涵盖次梯度、邻近算子及支持恢复条件。

ABSTRACT

Sparse methods for supervised learning aim at finding good linear predictors from as few variables as possible, i.e., with small cardinality of their supports. This combinatorial selection problem is often turned into a convex optimization problem by replacing the cardinality function by its convex envelope (tightest convex lower bound), in this case the L1-norm. In this paper, we investigate more general set-functions than the cardinality, that may incorporate prior knowledge or structural constraints which are common in many applications: namely, we show that for nondecreasing submodular set-functions, the corresponding convex envelope can be obtained from its \lova extension, a common tool in submodular analysis. This defines a family of polyhedral norms, for which we provide generic algorithmic tools (subgradients and proximal operators) and theoretical results (conditions for support recovery or high-dimensional inference). By selecting specific submodular functions, we can give a new interpretation to known norms, such as those based on rank-statistics or grouped norms with potentially overlapping groups; we also define new norms, in particular ones that can be used as non-factorial priors for supervised learning.

研究动机与目标

• 开发一种超越基于基数的稀疏性的结构化稀疏性诱导范数的一般框架。
• 建立亚模集函数与稀疏学习凸优化之间的理论联系。
• 为广泛类别的结构化范数提供通用的算法工具（次梯度与邻近算子）。
• 为所提框架下的支持恢复与高维推断提供理论保证。
• 统一并重新诠释现有范数（如重叠组范数、秩相关范数），并为监督学习引入新型非可分解先验。

提出的方法

• 利用非递减亚模函数的Löwner扩展，构建集函数惩罚 $ F({\rm Supp}(w)) $ 的凸包络，实现凸松弛。
• 推导所得范数 $ \Omega(w) $ 的邻近算子与次梯度，支持通过邻近算法实现高效优化。
• 利用分解性质 $ \Omega(w) = \Omega_J(w_J) + \Omega^J(w_{J^c}) $ 分析支持恢复与高维一致性。
• 应用受限特征值与相容性条件，推导估计误差与支持恢复的理论界。
• 证明对偶范数 $ \Omega^*(z) $ 可通过单位球的极值点计算，实现次梯度的高效计算。
• 将已知范数（如分组范数、秩统计量）重新解释为亚模惩罚的特例，并为非可分解先验构造新范数。

实验结果

研究问题

• RQ1 如何使用集函数形式化结构化稀疏性，超越基数？
• RQ2 非递减亚模集函数 $ F({\rm Supp}(w)) $ 的凸包络是什么？如何实现高效计算？
• RQ3 能否为此类范数推导出通用的算法工具（如邻近算子、次梯度）？
• RQ4 在何种条件下，优化过程可在高维设置下恢复真实支持？
• RQ5 所提范数与贪婪方法及现有结构化范数相比，在性能与可解释性方面表现如何？

主要发现

• 在 $ \ell_\infty $-球上，映射 $ w \mapsto F({\rm Supp}(w)) $ 的凸包络由 $ F $ 的Löwner扩展给出，实现结构化稀疏性的凸松弛。
• 所得范数 $ \Omega(w) $ 为多面体范数，其次梯度与邻近算子可计算，支持通过标准邻近求解器实现高效优化。
• 当噪声的对偶范数满足 $ \Omega^*(q) \leq \lambda \rho(J)/2 $ 时，支持恢复可保证成立，其中 $ \rho(J) $ 控制设计矩阵的相容性。
• 估计误差被限制为 $ \Omega_J(\Delta_J) \leq \frac{6c(J)^2\lambda}{\kappa\rho(J)} $，其中 $ \kappa $ 为受限特征值，$ c(J) $ 为范数相容常数。
• 该框架可恢复并重新诠释已知范数（如重叠组Lasso、秩相关惩罚）为亚模惩罚的特例。
• 实验结果表明，所提方法在模拟研究中优于贪婪方法，尤其在支持恢复与估计精度方面表现更优。