[论文解读] Safe Screening for the Generalized Conditional Gradient Method

Yifan Sun, Francis Bach|arXiv (Cornell University)|Feb 22, 2020

Sparse and Compressive Sensing Techniques参考文献 50被引用 5

一句话总结

本文提出了一种广义条件梯度法（gCGM）的安全筛选规则，可在优化过程中动态识别并移除无关原子（特征）。通过利用基于间隙的筛选方法和惩罚函数的强凸性，该方法实现了 O(1/t) 的收敛速率与 O(1/(tδ²)) 的支持恢复速率，其中 δ 衡量问题的退化程度，确保在稀疏学习问题中特征选择的稳定性并降低计算成本。

ABSTRACT

The conditional gradient method (CGM) has been widely used for fast sparse approximation, having a low per iteration computational cost for structured sparse regularizers. We explore the sparsity acquiring properties of a generalized CGM (gCGM), where the constraint is replaced by a penalty function based on a gauge penalty; this can be done without significantly increasing the per-iteration computation, and applies to general notions of sparsity. Without assuming bounded iterates, we show $O(1/t)$ convergence of the function values and gap of gCGM. We couple this with a safe screening rule, and show that at a rate $O(1/(tδ^2))$, the screened support matches the support at the solution, where $δ\geq 0$ measures how close the problem is to being degenerate. In our experiments, we show that the gCGM for these modified penalties have similar feature selection properties as common penalties, but with potentially more stability over the choice of hyperparameter.

研究动机与目标

• 为广义条件梯度法（gCGM）开发一种安全筛选规则，可在不损害收敛性的前提下，在优化过程中识别并移除无关原子（特征）。
• 在一般规范惩罚下建立 gCGM 的理论收敛保证，证明函数值与最优性间隙均呈现 O(1/t) 的收敛速率。
• 通过要求惩罚函数 φ(ξ) 具有强凸性与曲率，确保方法在数值上保持良好定义且稳定，避免子问题无界。
• 通过用结构化的规范惩罚替代标准 ℓ₁ 惩罚，提升对超参数选择的特征选择稳定性。
• 提出一种基于对偶的筛选准则，利用 Fenchel-Young 间隙与支撑函数性质，对原子排除进行验证。

提出的方法

• gCGM 求解正则化问题 minₓ f(x) + h(x)，其中 h(x) = φ(κₚ(x))，φ 单调递增且 μ-强凸，κₚ 为定义在‘良好’集合 𝒫 上的规范函数。
• 在每次迭代中，计算 s⁽ᵗ⁾ = argminₛ ∇f(x⁽ᵗ⁾)ᵀs + h(s)，然后以 θ⁽ᵗ⁾ = 4/(t+2) 更新 x⁽ᵗ⁺¹⁾ = (1−θ⁽ᵗ⁾)x⁽ᵗ⁾ + θ⁽ᵗ⁾s⁽ᵗ⁾。
• 基于 Fenchel-Young 间隙推导安全筛选规则：若 σₚ(−∇f(x)) + pᵀ∇f(x) > 2√(L·gap(x,−∇f(x)))，则 p ∉ suppₚ(x*)，可安全移除原子 p。
• 通过残差间隙不等式对间隙进行有界化：res(x) ≤ √(L·gap(x,−∇f(x)))，将原始残差与对偶间隙联系起来。
• 通过望远镜求和与对数积分界论证建立收敛性，证明函数值间隙与最优性间隙均以 O(1/t) 速率衰减。
• 筛选规则可迭代应用，支持恢复速率被证明为 O(1/(tδ²))，其中 δ ≥ 0 衡量解的退化程度。

实验结果

研究问题

• RQ1 能否在非多面体、基于规范的惩罚下，有效应用广义条件梯度法（gCGM）的安全筛选规则？
• RQ2 在一般规范惩罚下，gCGM 的收敛速率如何？其对惩罚函数强凸性的依赖关系如何？
• RQ3 所提出的筛选规则如何确保在优化过程中安全地移除不在最优支持中的原子？
• RQ4 在采用安全筛选的 gCGM 中，支持恢复的速率如何？其对退化参数 δ 的依赖关系如何？
• RQ5 当 φ(ξ) 具有曲率时，使用规范惩罚是否相比标准 ℓ₁ 正则化能提升特征选择的稳定性？

主要发现

• 在 f 的 L-光滑性与 φ 的 μ-强凸性条件下，gCGM 实现了函数值间隙与最优性间隙的 O(1/t) 收敛速率。
• 安全筛选规则保证：任何满足 σₚ(−∇f(x)) + pᵀ∇f(x) > 2√(L·gap(x,−∇f(x))) 的原子 p 均不在最优支持中，可安全移除。
• 支持恢复速率可达 O(1/(tδ²))，其中 δ ≥ 0 衡量解与退化状态的距离，退化程度越低，恢复越快。
• φ(ξ) 的曲率条件确保子问题（2）有界，且对偶变量 −∇f(x⁽ᵗ⁾) 为有效候选，避免迭代无界。
• 该方法在保持低每轮计算成本的同时，实现动态支持筛选，显著降低大规模稀疏学习中的计算开销。
• 实验结果表明，采用规范惩罚的 gCGM 在特征选择性能上与 ℓ₁ 正则化相当，但对超参数选择的稳定性更优。