[论文解读] The Ordered Weighted $\ell_1$ Norm: Atomic Formulation, Projections, and Algorithms

Xiangrong Zeng, Mário A. T. Figueiredo|arXiv (Cornell University)|Sep 15, 2014

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了有序加权ℓ₁（OWL）范数的原子分解形式及其对偶范数，实现了投影和邻近算子的高效计算。提出了一种基于原子分解的条件梯度算法及高效的投影方案，实验证明在OWL正则化回归问题中，加速投影梯度法在实践中优于条件梯度法。

ABSTRACT

The ordered weighted $\ell_1$ norm (OWL) was recently proposed, with two different motivations: its good statistical properties as a sparsity promoting regularizer; the fact that it generalizes the so-called {\it octagonal shrinkage and clustering algorithm for regression} (OSCAR), which has the ability to cluster/group regression variables that are highly correlated. This paper contains several contributions to the study and application of OWL regularization: the derivation of the atomic formulation of the OWL norm; the derivation of the dual of the OWL norm, based on its atomic formulation; a new and simpler derivation of the proximity operator of the OWL norm; an efficient scheme to compute the Euclidean projection onto an OWL ball; the instantiation of the conditional gradient (CG, also known as Frank-Wolfe) algorithm for linear regression problems under OWL regularization; the instantiation of accelerated projected gradient algorithms for the same class of problems. Finally, a set of experiments give evidence that accelerated projected gradient algorithms are considerably faster than CG, for the class of problems considered.

研究动机与目标

• 推导OWL范数的原子分解形式，以实现通过条件梯度方法的高效优化。
• 开发一种高效算法，用于计算到OWL范数球的欧几里得投影，这对投影梯度方法至关重要。
• 比较条件梯度与加速投影梯度算法在OWL正则化线性回归中的性能表现。
• 提供一种更简洁的OWL邻近算子推导方法，揭示其与保序回归及PAV算法的联系。
• 为在OWL正则化下条件梯度算法建立理论收敛性保证。

提出的方法

• 利用带符号排列矩阵和基向量，推导OWL范数的原子分解形式，将其表示为原子的凸包。
• 利用原子分解形式计算OWL范数的对偶范数，支持基于对偶性的分析与优化。
• 提出一种根求解方案，用于计算到OWL范数球的欧几里得投影，其时间复杂度主要由排序决定。
• 利用原子分解形式实例化条件梯度（Frank-Wolfe）算法，以高效求解线性规划子问题。
• 使用所提出的OWL投影实现加速投影梯度方法，采用线搜索或固定步长。
• 利用OWL邻近算子与保序回归之间的联系，推导出一种简化且高效的计算方法。

实验结果

研究问题

• RQ1 如何通过原子分解形式表达OWL范数，以实现高效优化？
• RQ2 OWL范数的对偶范数是什么？它如何与原子结构相关联？
• RQ3 能否以更简洁的方式推导出OWL范数的邻近算子？其与保序回归有何关联？
• RQ4 如何高效计算到OWL范数球的欧几里得投影？
• RQ5 在OWL正则化回归问题中，条件梯度与加速投影梯度算法的性能表现如何比较？

主要发现

• OWL范数的原子分解形式使得条件梯度算法中线性子问题的计算更加高效。
• 基于其原子结构，推导出OWL范数的对偶范数，支持基于对偶性的分析。
• 提出了一种新的、更简洁的OWL邻近算子推导方法，揭示其通过PAV算法等价于保序回归。
• 提出一种高效的根求解方案，用于计算到OWL范数球的欧几里得投影，其时间复杂度主要由排序决定。
• 实验结果表明，对于同一类问题，加速投影梯度法显著快于条件梯度算法。
• 在子问题精确求解的条件下，为条件梯度算法建立了理论收敛性，且给出了明确的常数。