[论文解读] Proximal Gradient Algorithms: Applications in Signal Processing

Niccolò Antonello, Lorenzo Stella+2 more|arXiv (Cornell University)|Mar 5, 2018

Sparse and Compressive Sensing Techniques参考文献 67被引用 18

一句话总结

本文提出了一种增强的近端梯度（PG）算法，通过将拟牛顿法与前向-伴随预言机结合，加速大规模、非光滑及非凸信号处理问题的收敛。该框架实现了无矩阵优化，高效获得高精度解，并通过高级建模语言和实时音频、图像及通信处理应用得到验证。

ABSTRACT

Advances in numerical optimization have supported breakthroughs in several areas of signal processing. This paper focuses on the recent enhanced variants of the proximal gradient numerical optimization algorithm, which combine quasi-Newton methods with forward-adjoint oracles to tackle large-scale problems and reduce the computational burden of many applications. These proximal gradient algorithms are here described in an easy-to-understand way, illustrating how they are able to address a wide variety of problems arising in signal processing. A new high-level modeling language is presented which is used to demonstrate the versatility of the presented algorithms in a series of signal processing application examples such as sparse deconvolution, total variation denoising, audio de-clipping and others.

研究动机与目标

• 解决经典优化方法在求解大规模、非光滑及非凸信号处理问题时的局限性。
• 在不依赖矩阵分解的前提下，提升近端梯度算法的收敛速度，实现实时与嵌入式部署。
• 开发一种高级建模语言，简化信号处理应用中的实现过程，提升可复现性。
• 展示无矩阵、基于前向-伴随预言机的优化方法在传统方法因可扩展性问题而失效的问题中的有效性。
• 将近端梯度方法的应用范围扩展至非凸问题，展现其在高性能信号重建中的潜力。

提出的方法

• 将拟牛顿海森矩阵近似集成到近端梯度算法中，以超越标准一阶方法的收敛速度。
• 利用前向-伴随预言机计算矩阵-向量乘积，无需存储大型矩阵，从而实现无矩阵优化。
• 实现一种高级建模语言，允许用户使用直观语法定义优化问题，例如 `x = Variable(n)` 和 `@minimize f st cstr`。
• 通过在非重叠变量片段上应用可分的近端映射，即使在存在多个约束时也能保持计算效率。
• 通过重用先前解实现跨迭代问题的热启动，提升顺序优化任务的效率。
• 将 PANOC 算法与 FPG 等专用求解器结合，实现定制化性能，并通过语法如 `with FPG()` 暴露算法选择功能。

实验结果

研究问题

• RQ1 拟牛顿加速是否能显著提升大规模信号处理问题中近端梯度方法的收敛速度？
• RQ2 通过前向-伴随预言机实现的无矩阵计算，在多大程度上可减少大规模优化中的内存与计算开销？
• RQ3 与凸松弛方法相比，使用非凸公式化的近端梯度算法在性能上有多优越？
• RQ4 高级建模语言是否能简化复杂信号处理优化问题的实现，同时保持高效性？
• RQ5 在迭代信号处理任务中，热启动与无矩阵操作的结合具有何种实际影响？

主要发现

• 所提出的拟牛顿增强型近端梯度算法相比标准一阶方法收敛更快，使此前难以求解的问题也能获得高精度解。
• 通过前向-伴随预言机实现的无矩阵计算，可在不存储或分解大型矩阵的情况下高效处理大规模问题。
• 高级建模语言使复杂信号处理优化任务（如稀疏反卷积和总变差去噪）的代码更加简洁、易读且可复现。
• 在不存在虚假局部极小值的情况下，使用近端梯度方法的非凸公式化可实现更优的应用特定性能，且计算上可行。
• 由于内存占用低且近端映射与预言机计算具有天然并行性，该框架支持实时与嵌入式部署。
• 公开可用的代码与软件工具（如 ProxImaL、ODL、ForBES）证明了该方法在多样化信号处理领域中的实用性与可重用性。