[论文解读] Optimal Computational Trade-Off of Inexact Proximal Methods

Pierre Machart, Sandrine Anthoine+1 more|arXiv (Cornell University)|Oct 18, 2012

Sparse and Compressive Sensing Techniques参考文献 23被引用 10

一句话总结

本文通過證明在近似鄰近算子時設置恆定的內層迭代次數可最小化總計算成本，從而提出了一種計算上最優的不精確近端梯度方法策略，與標準收斂率分析的直覺相反。論文提出了一種快速不精確近端梯度（SIP）演算法，透過平衡近似精度與迭代次數，實現更快的收斂速度與更低的運行時間。

ABSTRACT

In this paper, we investigate the trade-off between convergence rate and computational cost when minimizing a composite functional with proximal-gradient methods, which are popular optimisation tools in machine learning. We consider the case when the proximity operator is computed via an iterative procedure, which provides an approximation of the exact proximity operator. In that case, we obtain algorithms with two nested loops. We show that the strategy that minimizes the computational cost to reach a solution with a desired accuracy in finite time is to set the number of inner iterations to a constant, which differs from the strategy indicated by a convergence rate analysis. In the process, we also present a new procedure called SIP (that is Speedy Inexact Proximal-gradient algorithm) that is both computationally efficient and easy to implement. Our numerical experiments confirm the theoretical findings and suggest that SIP can be a very competitive alternative to the standard procedure.

研究动机与目标

• 解決不精確近端梯度方法在組合凸優化中收斂速度與計算成本之間的權衡問題。
• 識別在巢狀迴圈演算法中設定不精確鄰近算子計算精度的最佳策略。
• 開發一種實用且高效的演算法，以在達到所需解精度的同時最小化總執行時間。
• 挑戰傳統觀點，即隨著時間增加內層精度可獲得最佳性能，並證明恆定精度在計算上更優勢。

提出的方法

• 分析具有兩個巢狀迴圈（外層迴圈用於主演算法，內層迴圈用於近似鄰近算子）的不精確近端梯度方法的全局計算成本。
• 基於KKT條件建立最佳化框架，以在固定精度約束下最小化總計算成本，並將內層迭代次數視為決策變數。
• 提出快速不精確近端梯度（SIP）演算法，該演算法在每次外層迭代中使用恆定的內層迭代次數，簡化實作並降低開銷。
• 使用拉格朗日鬆弛法求解所得的非凸最佳化問題，推導出最佳內層迭代次數的封閉表達式。
• 證明最佳策略是維持恆定的內層迭代次數，與外層迭代次數無關，這是因為成本函數具有凸性與縮放性質。
• 透過在總變異數正則化影像去模糊問題上的數值實驗，驗證理論發現。

实验结果

研究问题

• RQ1 在不精確近端梯度方法中，如何最佳分配外層與內層迭代的計算資源，以最小化總執行時間？
• RQ2 隨著時間增加鄰近算子計算的精度是否能帶來比固定精度更好的計算性能？
• RQ3 在計算效率方面，恆定內層迭代次數是否能優於自適應精度策略，同時保持解的精度？
• RQ4 內層迭代次數的選擇如何影響實際中的收斂軌跡與最終解品質？
• RQ5 是否存在最佳內層迭代次數的封閉解，以平衡收斂速率與計算成本？

主要发现

• 最小化計算成本的最佳策略是使用恆定的內層迭代次數，與外層迭代次數無關，這與收斂率分析的直覺相反。
• 所提出的SIP演算法在總執行時間上優於標準不精確方法，且收斂更快，此結果經由總變異數正則化去模糊問題上的數值實驗驗證。
• 即使理論上逐步提高精度可帶來更快的收斂速率，但使用恆定內層迭代次數的策略仍能實現更低的總計算成本。
• 最佳內層迭代次數透過KKT條件分析推導得出，其取決於問題的Lipschitz常數與所需精度。
• 理論計算模型能精確預測不同策略的表現，SIP方法在成本-精度比方面始終優於其他方法。
• 該方法在收斂至與自適應策略相當或更優精度的解的同時，顯著降低了計算時間。