[论文解读] Shaping Level Sets with Submodular Functions

Francis Bach|arXiv (Cornell University)|Dec 7, 2010

Statistical Methods and Inference参考文献 34被引用 18

一句话总结

本文提出了一类基于对称子模函数及其洛瓦兹扩展的新型凸结构化正则化项，该正则化项不仅在预测器的支撑集上诱导稀疏性，还在水平集上诱导稀疏性——即具有相同取值的索引集合。核心贡献是一个统一的水平集正则化框架，包含理论保证、优化算法（例如通过子模函数最小化计算的近端算子），并应用于聚类、异常值检测和变化点检测。

ABSTRACT

We consider a class of sparsity-inducing regularization terms based on submodular functions. While previous work has focused on non-decreasing functions, we explore symmetric submodular functions and their \\lova extensions. We show that the Lovasz extension may be seen as the convex envelope of a function that depends on level sets (i.e., the set of indices whose corresponding components of the underlying predictor are greater than a given constant): this leads to a class of convex structured regularization terms that impose prior knowledge on the level sets, and not only on the supports of the underlying predictors. We provide a unified set of optimization algorithms, such as proximal operators, and theoretical guarantees (allowed level sets and recovery conditions). By selecting specific submodular functions, we give a new interpretation to known norms, such as the total variation; we also define new norms, in particular ones that are based on order statistics with application to clustering and outlier detection, and on noisy cuts in graphs with application to change point detection in the presence of outliers.

研究动机与目标

• 开发一类新型凸正则化项，不仅在预测器的支撑集上，还在其水平集上诱导结构化稀疏性。
• 建立对称子模函数与依赖于水平集的函数的洛瓦兹扩展之间的理论联系，后者是该类函数的凸包络。
• 通过基于子模函数最小化的近端算子实现优化的统一化，当子模函数最小化可计算时，可实现高效计算。
• 在噪声条件下提供水平集恢复的理论保证，表明即使在预测器无相关性时，水平集恢复也并非总是可保证的。
• 扩展已知范数（如总变差），并基于顺序统计量和噪声切割定义新范数，用于聚类和变化点检测应用。

提出的方法

• 使用对称子模函数的洛瓦兹扩展作为依赖于向量水平集的函数的凸近似。
• 导出一种凸正则化项，惩罚非恒定的水平集，从而促进分段常数解。
• 通过一系列子模函数最小化（SFMs）推导近端算子，当SFM可计算时，可实现高效优化。
• 利用基多面体表示 $ f(w) = \max_{s \in B(F)} w^\top s $ 推导优化与对偶条件。
• 提出基于顺序统计量（用于聚类/异常值检测）和噪声切割（用于含异常值的变化点检测）的新范数。
• 采用浓度不等式和概率界（如引理2）推导噪声条件下的恢复条件，特别针对 $ F(A) = \min\{|A|/p, 1 - |A|/p\} $ 情况。

实验结果

研究问题

• RQ1 能否利用子模函数定义凸正则化项，以在水平集而非仅支撑集上诱导稀疏性？
• RQ2 对称子模函数的洛瓦兹扩展如何被解释为依赖于水平集的函数的凸包络？
• RQ3 在噪声存在下，特别是当预测器无相关性时，水平集恢复的理论条件是什么？
• RQ4 如何为这类正则化项推导高效的优化算法（如近端算子）？
• RQ5 特定对称子模函数的选择（如基于顺序统计量或噪声切割）会引出哪些新范数或应用？

主要发现

• 对称子模函数 $ F $ 的洛瓦兹扩展是依赖于输入向量 $ w $ 的所有水平集的函数的凸包络，从而实现水平集正则化。
• 在一维总变差情况下，若 $ \lambda \leq \frac{\nu}{8} \min_j |A_j| $，则在噪声条件下以高概率实现水平集恢复，成功概率下限为 $ 1 - 4p \exp\big(-\frac{\nu^2 \min_j |A_j|^2}{128\sigma^2 \max_j |A_j|^2}\big) $。
• 在二维总变差情况下，即使噪声极小，水平集恢复也无法保证，反例表明由于形状相关敏感性，正确模式无法被恢复。
• 该框架可恢复已知范数（如总变差），并引入新范数，包括基于顺序统计量的范数（用于聚类和异常值检测）。
• 该框架通过基于噪声切割的子模函数实现含异常值场景下的变化点检测，对稀疏扰动具有鲁棒性。
• 理论恢复条件表明，即使在无预测器相关性时，水平集恢复也并非总是可保证，这与传统支撑集恢复有本质区别。