[论文解读] Support recovery without incoherence: A case for nonconvex regularization

Po‐Ling Loh, Martin J. Wainwright|arXiv (Cornell University)|Dec 17, 2014

Anesthesia and Sedative Agents被引用 4

一句话总结

本文在无需通常由 $β_1$-方法所需的不相干性条件的情况下，为使用非凸正则化的稀疏回归建立了支持恢复和 $∞ll_{\infty}$-误差界。通过利用广义梯度和限制强凸性，将原始-对偶见证方法扩展至非凸设置，作者证明了某些非凸正则化器（如 SCAD 和 MCP）在弱假设下可实现一致的变量选择。

ABSTRACT

We demonstrate that the primal-dual witness proof method may be used to establish variable selection consistency and $\\ell_\\infty$-bounds for sparse regression problems, even when the loss function and/or regularizer are nonconvex. Using this method, we derive two theorems concerning support recovery and $\\ell_\\infty$-guarantees for the regression estimator in a general setting. Our results provide rigorous theoretical justification for the use of nonconvex regularization: For certain nonconvex regularizers with vanishing derivative away from the origin, support recovery consistency may be guaranteed without requiring the typical incoherence conditions present in $\\ell_1$-based methods. We then derive several corollaries that illustrate the wide applicability of our method to analyzing composite objective functions involving losses such as least squares, nonconvex modified least squares for errors-in variables linear regression, the negative log likelihood for generalized linear models, and the graphical Lasso. We conclude with empirical studies to corroborate our theoretical predictions.

研究动机与目标

• 为解决非凸正则化方法在变量选择一致性方面缺乏理论保证的问题，尤其是在不相干性条件不成立时。
• 将原本仅限于凸问题的原始-对偶见证证明技术，扩展至一类具有非凸损失和正则化的非凸优化问题。
• 建立非凸正则化估计器的驻点恢复回归向量真实支持的充分条件。
• 证明非凸正则化器（如 SCAD 和 MCP）可在不依赖 $β_1$-正则化中常见的严格不相干假设的情况下实现支持恢复。
• 提供一个适用于复合目标的通用框架，包括最小二乘法、误差变量模型、广义线性模型以及图形 Lasso。

提出的方法

• 通过非光滑分析中的广义梯度，将原始-对偶见证方法适配至非凸设置。
• 利用范数正则化、光滑但非凸函数的优化理论结果，推导稳定性和一致性条件。
• 引入损失函数的限制强凸性条件，以确保在真实参数附近的局部曲率受控。
• 使用带次微分演算的广义 KKT 型论证，分析驻点性和支持一致性。
• 应用关于克罗内克积和矩阵范数扰动的矩阵理论引理，控制 Hessian 近似的行为。
• 通过反证法建立迭代序列收敛至局部极小值的结果，利用二阶泰勒展开和曲率界。

实验结果

研究问题

• RQ1 原始-对偶见证方法能否扩展至非凸正则化回归问题，以保证支持恢复？
• RQ2 在何种条件下，SCAD 和 MCP 等非凸正则化器可在不依赖不相干性假设的情况下实现变量选择一致性？
• RQ3 在相似条件下，非凸估计器的 $∞ll_{\infty}$-误差界与 $β_1$-正则化方法相比如何？
• RQ4 损失函数的限制强凸性在确保驻点一致性方面起到什么作用？
• RQ5 该理论框架能否应用于复合目标，如广义线性模型和图形 Lasso？

主要发现

• 通过广义梯度，原始-对偶见证方法可扩展至非凸问题，从而在不假设损失或正则化器为凸的情况下，实现支持恢复保证。
• 对于在原点外导数趋于零的非凸正则化器（如 SCAD、MCP），可在无须不相干性条件的情况下实现支持恢复。
• 该方法在类似假设下建立了与已知 $β_1$-方法相当的 $∞ll_{\infty}$-误差界，仅相差常数因子。
• 理论分析证实，在弱信号强度和曲率条件下，非凸正则化问题的驻点可实现统计一致性与支持恢复一致性。
• 实证研究证实了理论预测，显示在变量选择中，有限样本性能优于 $β_1$-正则化。
• 该框架广泛适用于复合目标，包括最小二乘法、非凸修正最小二乘法、广义线性模型的负对数似然，以及图形 Lasso。