[论文解读] Multi-stage Convex Relaxation for Feature Selection

Tong Zhang|arXiv (Cornell University)|Jun 3, 2011

Systemic Lupus Erythematosus Research参考文献 16被引用 12

一句话总结

本文提出了一种多阶段凸松弛方法用于特征选择，通过迭代地对解进行细化，克服了Lasso的偏差问题。在受限等距性质（RIP）条件下，该方法可严格恢复非零系数的真实支持集，避免了标准Lasso的次优偏差，仅需 O(log k̄) 次迭代即可实现精确特征选择。

ABSTRACT

A number of recent work studied the effectiveness of feature selection using Lasso. It is known that under the restricted isometry properties (RIP), Lasso does not generally lead to the exact recovery of the set of nonzero coefficients, due to the looseness of convex relaxation. This paper considers the feature selection property of nonconvex regularization, where the solution is given by a multi-stage convex relaxation scheme. Under appropriate conditions, we show that the local solution obtained by this procedure recovers the set of nonzero coefficients without suffering from the bias of Lasso relaxation, which complements parameter estimation results of this procedure.

研究动机与目标

• 为解决基于Lasso的特征选择中的偏差问题，该问题在RIP条件下导致标准Lasso无法精确恢复真实支持集，原因在于凸松弛过松。
• 开发一种计算高效的算法，通过迭代细化解的方式使用凸松弛实现精确支持集恢复。
• 通过证明多阶段方法同样可实现精确特征选择，补充现有的参数估计结果。
• 证明该方法在不可表示性条件不成立但RIP成立的情况下，优于后处理Lasso和自适应Lasso。

提出的方法

• 该方法采用多阶段迭代算法，每一阶段求解一个正则化参数递减的Lasso型优化问题。
• 在每一阶段 ℓ，通过最小化带调参 λ(ℓ) 的正则化最小二乘目标函数来计算解 ŵ(ℓ)，其中 λ(ℓ) 随迭代次数递减。
• 该过程基于参数 θ 的阈值规则，识别并保留各阶段中具有前景的特征。
• 其依赖一系列逐渐收紧的凸松弛，逐步逼近非凸的 L0 正则化问题。
• 理论分析利用稀疏特征值条件（RIP）和残差范数的界，控制各阶段之间的误差传播。
• 当估计的支持集稳定时，算法终止，从而在适当条件下收敛至真实支持集。

实验结果

研究问题

• RQ1 在受限等距性质（RIP）条件下，多阶段凸松弛过程能否实现对真实特征支持集的精确恢复，而标准Lasso在此条件下会失败？
• RQ2 迭代细化过程是否能消除Lasso在L0正则化凸松弛中固有的偏差？
• RQ3 该多阶段方法收敛至正确支持集所需的迭代次数是多少，且该数量是否可被有效界定？
• RQ4 在支持集恢复精度和计算效率方面，该方法与后处理Lasso或自适应Lasso相比表现如何？
• RQ5 在何种条件下，该多阶段方法在特征选择中优于现有的非凸正则化方法？

主要发现

• 在RIP条件下，多阶段凸松弛方法可精确恢复非零系数的真实支持集，实现无偏特征选择。
• 收敛所需的迭代次数被界为 O(log k̄)，其中 k̄ 为真实稀疏度水平，确保计算效率。
• 该方法避免了后处理Lasso中固有的 √k̄ 因子偏差，后者要求非零系数比噪声大 √k̄ 倍才能被恢复。
• 理论分析表明，估计系数向量中的误差在各阶段呈几何级数递减，其中 √|F(ℓ)| 按 β^ℓ√k̄ 衰减，β < 1。
• 该过程在有限时间内收敛至真实支持集，满足 ‖ŵ(ℓ) − w̃‖₂ = 0 对所有 ℓ > L 成立，意味着支持集的精确恢复。
• 该方法在理论上是高效的，并且在计算收敛性保证方面优于路径追踪方法，因为后者在效率方面仍存在未解问题。