[论文解读] The Ordered Weighted $\ell_1$ Norm: Atomic Formulation, Dual Norm, and Projections.

Xiangrong Zeng, Mário A. T. Figueiredo|arXiv (Cornell University)|Sep 15, 2014

Sparse and Compressive Sensing Techniques参考文献 36被引用 13

一句话总结

本文推导了有序加权ℓ₁（OWL）范数的原子形式，使得通过条件梯度（Frank-Wolfe）算法实现Ivanov正则化，以及通过邻近分裂法实现Tikhonov正则化的优化更加高效。主要贡献在于提出了一套统一的框架，利用原子范数提升基于OWL的稀疏正则化在计算效率和理论洞察方面的表现。

ABSTRACT

The ordered weighted $\ell_1$ norm (OWL) was recently proposed, with two different motivations: because of its good statistical properties as a sparsity promoting regularizer, and as generalization of the so-called {\it octagonal shrinkage and clustering algorithm for regression} (OSCAR). The OSCAR is a convex group-sparsity inducing regularizer, which does not require the prior specification of the group structure. Also recently, much interest has been raised by the atomic norm formulation of several regularizers, not only because it provides an new avenue for their theoretical characterization, but also because it is particularly well suited to a type of method known as {\it conditional gradient} (CG), or Frank-Wolfe, algorithm. In this paper, we derive the atomic formulation of the OWL and exploit this formulation to show how Tikhonov regularization schemes can be handled using state-of-the-art proximal splitting algorithms, while Ivanov regularization can be efficiently implemented via the Frank-Wolfe algorithm.

研究动机与目标

• 为有序加权ℓ₁（OWL）范数提供一种原子范数形式，以改进其理论分析与计算处理。
• 通过推导出的原子形式，实现Ivanov正则化在条件梯度（Frank-Wolfe）算法下的高效实现。
• 将邻近分裂法的应用范围扩展至涉及OWL范数的Tikhonov正则化方案。
• 在统一的原子框架下统一处理OWL正则化，提升可解释性与算法效率。

提出的方法

• 通过将单位球表征为有限个原子的凸包，推导OWL范数的原子形式。
• 利用原子表示，将OWL正则化优化问题重新表述为适合条件梯度方法的形式。
• 通过在原子集合上迭代求解线性子问题，应用Frank-Wolfe算法求解Ivanov正则化问题。
• 通过利用原子结构实现高效计算，将邻近分裂算法适配于处理Tikhonov正则化OWL问题。
• 建立OWL范数、OSCAR与组稀疏性之间的理论联系，强调无需预先指定组结构。

实验结果

研究问题

• RQ1 如何以原子范数形式表达OWL范数，以支持新的优化策略？
• RQ2 在求解Ivanov正则化OWL问题时，原子形式带来了哪些计算优势？
• RQ3 通过原子表示，邻近分裂法在多大程度上可应用于Tikhonov正则化OWL问题？
• RQ4 OWL的原子形式与OSCAR等现有组稀疏性方法有何关联，且无需预先指定组结构？

主要发现

• OWL范数具有原子形式，其单位球为有限个原子的凸包，从而支持新的算法方法。
• 原子形式使得通过条件梯度算法结合线性子问题访问，能够高效求解Ivanov正则化OWL问题。
• 通过利用原子结构实现快速计算，邻近分裂方法可有效应用于Tikhonov正则化OWL问题。
• 推导出的原子框架提供了一个统一视角，将OWL与OSCAR及组稀疏性联系起来，同时消除了对预先指定组结构的需求。