[论文解读] Proximal Adam: Robust Adaptive Update Scheme for Constrained Optimization

P. Melchior, R. Joseph+1 more|arXiv (Cornell University)|Oct 22, 2019

Sparse and Compressive Sensing Techniques参考文献 7被引用 7

一句话总结

该论文提出AdaProx，一种新颖的自适应近端梯度方法，将Adam风格的自适应学习率整合到近端梯度法（PGM）中，而无需显式计算Lipschitz常数。通过利用梯度的移动平均值和通过近端算子实现的自适应步长，AdaProx在约束矩阵分解任务中实现了比PGM更快的收敛速度和更低的运行时间，在最终损失和效率方面优于基线方法。

ABSTRACT

We implement the adaptive step size scheme from the optimization methods AdaGrad and Adam in a novel variant of the Proximal Gradient Method (PGM). Our algorithm, dubbed AdaProx, avoids the need for explicit computation of the Lipschitz constants or additional line searches and thus reduces per-iteration cost. In test cases for Constrained Matrix Factorization we demonstrate the advantages of AdaProx in fidelity and performance over PGM, while still allowing for arbitrary penalty functions. The python implementation of the algorithm presented here is available as an open-source package at https://github.com/pmelchior/proxmin.

研究动机与目标

• 开发一种近端优化方法，避免显式计算Lipschitz常数，该常数在复杂非线性模型中计算成本高或不可行。
• 将Adam及其变体中的自适应学习率方案整合到近端梯度法中，以提升收敛性和鲁棒性。
• 在保持计算效率和收敛性保证的同时，支持任意近端正则化项的使用。
• 降低损失函数f计算成本高昂但正则化项r的近端算子计算可行的优化问题中的每轮迭代成本。

提出的方法

• AdaProx用基于自适应矩估计的自适应步长替代了PGM中固定的步长αₜ ∈ (0, 2/L)，利用梯度的一阶和二阶矩的移动平均值。
• 该方法在每轮迭代中使用正则化项r(𝐱)的近端算子，确保约束满足，而无需r可微。
• 其学习率基于梯度方差，通过β₁和β₂加权移动平均计算，并可选地采用类似AMSGrad和PAdam的校正项。
• 该方案动态调整每个参数的有效学习率，降低对初始超参数选择的敏感性，提升收敛稳定性。
• 该方法通过每步仅一次前向-后向迭代实现，平均仅需1至2次子迭代，显著降低计算开销。
• 该方法支持多种自适应变体：AdaProx-Adam、AdaProx-AMSGrad、AdaProx-AdamX和AdaProx-PAdam，其中后者引入了控制方差缩放的幂参数p。

实验结果

研究问题

• RQ1 能否成功将Adam中的自适应学习率方案整合到近端梯度法中，而无需显式知晓Lipschitz常数？
• RQ2 在损失函数f计算昂贵的约束优化问题中，AdaProx算法是否相比标准PGM实现更快收敛和更低运行时间？
• RQ3 在不同矩阵分解问题中，不同自适应变体（如AMSGrad、PAdam）在最终损失、收敛速度和鲁棒性方面表现如何？
• RQ4 PAdam中幂参数p的选择在多大程度上影响优化过程的稳定性和性能？
• RQ5 在L不可计算的非线性、非凸或复杂观测模型中，AdaProx能否保持高解的保真度和泛化能力？

主要发现

• 在天文学约束矩阵分解问题中，AdaProx-AMSGrad实现了最低的运行时间（0.12秒），尽管最终损失略高，但速度显著优于PGM。
• AdaProx-PAdam在p=0.45时达到最佳最终损失（1398.2），显著优于PGM（2538.4）及其他AdaProx变体。
• 该方法每轮迭代仅需1至2次近端子迭代，表明其每轮计算成本极低。
• AdaProx-AMSGrad在单核CPU上将运行时间缩短至0.12秒，而PGM为6.3秒，尽管迭代次数相近。
• 即使f计算成本高昂且L无法计算，自适应方案仍实现了比PGM更快的收敛和更优的最终解质量。
• 开源Python包 `proxmin` 已发布于 https://github.com/pmelchior/proxmin，支持实际部署。