[论文解读] PRISMA: PRoximal Iterative SMoothing Algorithm

Francesco Orabona, Andreas A. Argyriou+1 more|arXiv (Cornell University)|Jun 11, 2012

Sparse and Compressive Sensing Techniques参考文献 32被引用 30

一句话总结

PRISMA 是一种用于凸问题的新型一阶优化算法，该问题包含一个光滑、利普希茨连续且非利普希茨连续的非光滑分量。它采用自适应、时变的光滑化策略处理利普希茨函数，并结合邻近更新，实现了 O(1/k² + ρ_g log k /k) 的收敛速率，且无需预先知晓迭代次数或定义域边界。

ABSTRACT

Motivated by learning problems including max-norm regularized matrix completion and clustering, robust PCA and sparse inverse covariance selection, we propose a novel optimization algorithm for minimizing a convex objective which decomposes into three parts: a smooth part, a simple non-smooth Lipschitz part, and a simple non-smooth non-Lipschitz part. We use a time variant smoothing strategy that allows us to obtain a guarantee that does not depend on knowing in advance the total number of iterations nor a bound on the domain.

研究动机与目标

• 开发一种针对矩阵最大范数问题的实用一阶优化方法，尽管该范数在性能上优于核范数，但目前缺乏高效的求解器。
• 解决在优化包含三部分的复合凸函数时的挑战：一个光滑函数、一个利普希茨连续的非光滑函数，以及一个一般凸非光滑函数。
• 消除现有光滑化方法在收敛性保证中对总迭代次数或定义域边界先验知识的需求。
• 提供一种统一的黑箱算法，仅需访问光滑部分的梯度和非光滑部分的近端算子。
• 通过仅使用一阶信息和近端预言机访问，实现如基追踪和鲁棒主成分分析等任务的最先进收敛速率。

提出的方法

• 针对利普希茨连续的非光滑函数 g，提出一种时变光滑策略，其中光滑参数 β 在迭代过程中自适应调整。
• 对光滑函数 f 与 g 的光滑版本之和应用内塔罗风格的加速梯度下降，利用 Moreau 包络的梯度。
• 通过部分线性化处理非利普希茨连续的非光滑函数 h，将其在每次迭代中直接包含，类似于 FOBOS 和 ISTA/FISTA。
• 采用 Moreau-Yosida 正则化（Moreau 包络）通过其近端算子近似 g，实现具有已知梯度性质的光滑逼近。
• 将 h 和光滑化 g 的邻近步骤与 f 的梯度步骤结合，每轮迭代保持 O(n) 的复杂度。
• 推导出收敛速率，其光滑部分依赖于 k²，利普希茨部分依赖于 log k /k，且不依赖于对 T 或定义域边界的先验知识。

实验结果

研究问题

• RQ1 能否为最大范数正则化矩阵补全问题开发一种既高效又理论坚实的的一阶优化方法？
• RQ2 自适应光滑化策略如何在不依赖总迭代次数知识的前提下，改善复合凸优化中的收敛性保证？
• RQ3 能否设计一种单一算法，统一处理鲁棒主成分分析、稀疏精度矩阵选择和基追踪等多样化问题？
• RQ4 结合自适应光滑化与三元复合目标的邻近分裂方法，其收敛速率是多少？
• RQ5 在参数未调优的情况下，所提出的方法在实践中是否优于 ADMM 和 ALM 等现有的一阶方法？

主要发现

• PRISMA 实现了 O(L_f / k² + ρ_g log k / k) 的收敛速率，该速率在 log k 因子范围内为最优，且无需预先知晓迭代次数或定义域边界。
• 在最大范数矩阵补全问题中，PRISMA 提供了首个实用的一阶方法，使大规模问题的高效求解成为可能，此前此类问题仅能通过 SDP 求解器处理。
• 在鲁棒主成分分析中，PRISMA 表现优于以往发表的方法，展现出更优的实验收敛性和解的质量。
• 对于基追踪问题，PRISMA 在仅使用一阶信息和近端预言机访问的前提下，实现了目前已知的最佳收敛速率，每步投影的复杂度为 O(d m)。
• 实验结果表明，尽管仅使用一个理论合理的参数，PRISMA 的性能与 ALM（使用调优延续策略）相当，且显著优于 ADMM。
• 在多个基因表达数据集上，PRISMA 的平均每次迭代耗时仅为 ALM 和 ADMM 的 1.5 倍以内，且几乎无需调参。