[论文解读] Screening Rules for Convex Problems

Anant Raj, Jakob Olbrich+3 more|arXiv (Cornell University)|Sep 23, 2016

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种基于对偶性的通用框架，用于推导凸优化中的安全且动态的筛除规则，使在优化前或优化过程中识别并移除不重要的变量成为可能。通过利用对偶间隙和凸性性质，该方法广泛适用于惩罚和约束问题，包括Lasso、Elastic Net、SVM和组Lasso，推导出新颖且统一的筛除规则，这些规则在理论上是安全的且计算高效。

ABSTRACT

We propose a new framework for deriving screening rules for convex optimization problems. Our approach covers a large class of constrained and penalized optimization formulations, and works in two steps. First, given any approximate point, the structure of the objective function and the duality gap is used to gather information on the optimal solution. In the second step, this information is used to produce screening rules, i.e. safely identifying unimportant weight variables of the optimal solution. Our general framework leads to a large variety of useful existing as well as new screening rules for many applications. For example, we provide new screening rules for general simplex and $L_1$-constrained problems, Elastic Net, squared-loss Support Vector Machines, minimum enclosing ball, as well as structured norm regularized problems, such as group lasso.

研究动机与目标

• 开发一种通用且统一的框架，用于推导适用于广泛凸优化问题类别的筛除规则，包括惩罚和约束形式。
• 用基于对偶性的方法替代依赖几何结构和正则化路径的筛除方法，使方法对正则化参数不敏感，并适用于任何迭代求解器。
• 通过利用对偶间隙估计，在优化迭代过程中实现动态筛除，安全地消除变量而不影响最优性。
• 恢复并推广现有筛除规则（如Lasso、组Lasso、SVM）的同时，为此前无法筛除的问题（如一般单纯形和L1约束问题）推导出新的规则。
• 使用平滑性和强凸性等一般凸分析概念表达筛除条件，避免依赖于问题特定的几何结构。

提出的方法

• 该框架利用原始解与对偶解之间的对偶间隙，来界定当前对偶迭代值与真实对偶最优解之间的距离。
• 基于最优性条件制定筛除规则：如果某一变量的对偶次梯度模长低于由对偶间隙导出的阈值，则其对应的原始变量可保证为零。
• 对于具有组结构的问题，筛除规则通过组内系数的对偶范数与对偶间隙推导得出，其条件涉及组的对偶向量范数与间隙的组合。
• 通过利用原始-对偶对结构并运用Fenchel对偶性推导最优性条件，该方法可同时适用于惩罚和约束问题。
• 通过在每次迭代中使用当前对偶间隙更新筛除阈值，引入动态筛除机制，实现在优化过程中逐步减小问题规模。
• 该框架通过将当前对偶迭代值作为球心、利用对偶间隙确定半径，推广了基于球体检验的筛除方法，避免了对固定几何边界的依赖。

实验结果

研究问题

• RQ1 如何仅基于凸对偶性和对偶间隙信息，系统地推导适用于广泛凸优化问题类别的筛除规则？
• RQ2 筛除规则能否对任何迭代优化算法实现动态且安全的筛除，而无需依赖正则化路径？
• RQ3 Lasso、组Lasso和SVM的现有筛除规则能否在单一基于对偶性的框架下实现统一与推广？
• RQ4 平滑性和强凸性在推导不依赖几何假设的一般筛除条件中起到什么作用？
• RQ5 能否为此前无法筛除的问题（如一般单纯形和L1约束问题）推导出新的筛除规则？

主要发现

• 所提出的框架为一般单纯形和L1约束问题推导出新的筛除规则，这些问题是以往方法无法处理的。
• 该框架统一推导了Lasso、Elastic Net、平方损失SVM、最小包围球和组Lasso等现有筛除规则，表明它们均为该通用框架的特例。
• 组Lasso的筛除规则为 $\|\bm{a}^{(g)\top}W\|_2 < \lambda - \|\bm{a}^{(g)}\|_2 \|W - W^\star\|_2 \Rightarrow \bm{x}_g^\star = 0$，其中 $W$ 为当前对偶迭代值，$W^\star$ 为最优对偶解。
• 对于具有 $L$-Lipschitz 梯度的问题，规则变为 $\|\bm{a}^{(g)\top}W\|_2 < \lambda - \|\bm{a}^{(g)}\|_2 \sqrt{2L \, G(X)}$，其中 $G(X)$ 为对偶间隙。
• 该方法通过将当前对偶迭代值作为球心、利用对偶间隙控制半径，推广了基于球体检验的筛除方法，实现了动态且安全的筛除。
• 该框架被证明可恢复并推广先前研究结果，如 Ndiaye 等人（2015）和 Zimmert 等人（2015）的工作，将其扩展至非可分及更一般的目标函数。