[论文解读] Solving OSCAR regularization problems by proximal splitting algorithms

Xiangrong Zeng, Mário A. T. Figueiredo|arXiv (Cornell University)|Sep 24, 2013

Sparse and Compressive Sensing Techniques参考文献 62被引用 6

一句话总结

该论文通过引入分组邻近算子（GPO）和近似邻近算子（APO），提出了用于求解OSCAR正则化问题的高效近精确分裂算法。APO在保持最小精度损失的前提下实现了更快的收敛速度，在运行速度上优于精确GPO，同时在组稀疏信号恢复任务中保持了相近的性能表现。

ABSTRACT

The OSCAR (octagonal selection and clustering algorithm for regression) regularizer consists of a L_1 norm plus a pair-wise L_inf norm (responsible for its grouping behavior) and was proposed to encourage group sparsity in scenarios where the groups are a priori unknown. The OSCAR regularizer has a non-trivial proximity operator, which limits its applicability. We reformulate this regularizer as a weighted sorted L_1 norm, and propose its grouping proximity operator (GPO) and approximate proximity operator (APO), thus making state-of-the-art proximal splitting algorithms (PSAs) available to solve inverse problems with OSCAR regularization. The GPO is in fact the APO followed by additional grouping and averaging operations, which are costly in time and storage, explaining the reason why algorithms with APO are much faster than that with GPO. The convergences of PSAs with GPO are guaranteed since GPO is an exact proximity operator. Although convergence of PSAs with APO is may not be guaranteed, we have experimentally found that APO behaves similarly to GPO when the regularization parameter of the pair-wise L_inf norm is set to an appropriately small value. Experiments on recovery of group-sparse signals (with unknown groups) show that PSAs with APO are very fast and accurate.

研究动机与目标

• 解决应用OSCAR正则化时面临的计算挑战，其涉及一个非平凡的邻近算子，限制了算法的适用性。
• 将OSCAR正则化重新表述为加权排序ℓ₁范数，以实现邻近算子的高效计算。
• 提出两种邻近算子——GPO（精确）和APO（近似），使最先进的近精确分裂算法（PSAs）能够应用于OSCAR正则化的逆问题。
• 在组稀疏信号恢复的背景下，评估GPO与APO在精度与计算效率之间的权衡。
• 证明基于APO的PSA在大幅降低运行时间的同时仍能实现高精度，尤其在大规模问题中表现显著。

提出的方法

• 将OSCAR正则化重新表述为加权排序ℓ₁范数，以简化邻近算子的计算。
• 提出分组邻近算子（GPO），其执行精确阈值处理，随后对值相等的分量进行分组并求平均。
• 引入近似邻近算子（APO），跳过昂贵的分组与求平均步骤，从而降低计算开销。
• 将APO与GPO集成到六种最先进的近精确分裂算法中：FISTA、TwIST、SpaRSA、SBM、ADMM与PADMM。
• 采用交替方向乘子法（ADMM）框架，求解结合APO与GPO的OSCAR正则化优化问题。
• 在已知噪声和感知矩阵配置的合成组稀疏信号恢复任务中应用这些算法，以评估性能。

实验结果

研究问题

• RQ1 OSCAR正则化能否被重新表述，以实现其邻近算子的高效计算？
• RQ2 在精度与速度方面，近似邻近算子（APO）与精确分组邻近算子（GPO）的性能相比如何？
• RQ3 正则化参数对使用APO与GPO的PSA的行为与收敛性有何影响？
• RQ4 当与APO或GPO结合时，不同近精确分裂算法（如FISTA、TwIST、SpaRSA等）在OSCAR正则化问题上的表现如何？
• RQ5 基于APO的方法是否在显著降低计算成本的同时，仍能为大规模组稀疏信号恢复提供足够的精度？

主要发现

• 使用APO的PSA显著快于使用GPO的PSA：FISTA-APO耗时0.562秒，ADMM-APO耗时2.23秒，而对应的GPO版本分别耗时1.92秒与16.2秒。
• APO实现了与GPO几乎相同的精度：FISTA-APO与FISTA-GPO在1000维测试信号上均达到均绝对误差（MAE）0.337与均方误差（MSE）0.423。
• 在所有算法中，PADMM-APO实现了最低的MAE（0.313）与MSE（0.411），表明其在0.352秒的快速运行时间内仍具有卓越的精度。
• 随着信号规模增大，基于APO的算法展现出显著的速度优势，其在大规模问题中的可扩展性优于基于GPO的算法。
• 尽管缺乏正式的收敛性证明，但基于APO的PSA表现出稳定的收敛性，当成对ℓ∞范数参数设置为较小时，其结果与GPO几乎无法区分。
• 实验结果证实，APO是GPO的实用且高效的替代方案，能够实现快速且精确的组稀疏信号恢复，即使在未知组结构的情况下亦然。