[论文解读] On the acceleration of the double smoothing technique for unconstrained convex optimization problems

Radu Ioan Boţ, Christopher Hendrich|arXiv (Cornell University)|May 3, 2012

Sparse and Compressive Sensing Techniques参考文献 3被引用 4

一句话总结

本文通过分析目标函数的性质对收敛速率的影响，加速了无约束凸优化中的双重光滑化技术。结果表明，当函数为强凸或具有Lipschitz连续梯度时，收敛速率从 $O\left(\frac{1}{\epsilon}\ln\left(\frac{1}{\epsilon}\right)\right)$ 提升至 $O\left(\frac{1}{\sqrt{\epsilon}}\ln\left(\frac{1}{\epsilon}\right)\right)$，甚至达到 $O\left(\ln\left(\frac{1}{\epsilon}\right)\right)$，显著提升了通过Fenchel对偶和快速梯度法求解非可微凸问题的效率。

ABSTRACT

In this article we investigate the possibilities of accelerating the double smoothing technique when solving unconstrained nondifferentiable convex optimization problems. This approach relies on the regularization in two steps of the Fenchel dual problem associated to the problem to be solved into an optimization problem having a differentiable strongly convex objective function with Lipschitz continuous gradient. The doubly regularized dual problem is then solved via a fast gradient method. The aim of this paper is to show how do the properties of the functions in the objective of the primal problem influence the implementation of the double smoothing approach and its rate of convergence. The theoretical results are applied to linear inverse problems by making use of different regularization functionals.

研究动机与目标

• 改进无约束非可微凸优化问题中双重光滑化技术的收敛速率。
• 研究原始问题中目标函数的结构特性如何影响双重光滑化方法的实现与收敛速度。
• 在强凸性或Lipschitz连续梯度等附加假设下，建立更紧致的收敛速率。
• 通过图像去模糊和反问题等应用，展示加速方法的实际有效性。

提出的方法

• 采用Fenchel对偶将原始问题转化为具有非可微目标函数的对偶问题。
• 对对偶问题实施两阶段正则化，使目标函数可微、强凸且具有Lipschitz连续梯度。
• 利用快速梯度法求解正则化后的对偶问题，确保收敛速率依赖于原始函数的光滑性与凸性特征。
• 通过从共轭函数推导出的显式公式，从对偶迭代中重构近似最优的原始解。
• 利用双共轭性质与次微分微积分，确保收敛性与最优性条件满足。
• 在图像去模糊问题上进行数值验证，采用 $l_1$ 和 $l_2$-$l_1$ 正则化泛函，与ISTA和FISTA比较性能。

实验结果

研究问题

• RQ1 原始问题中函数的凸性与光滑性如何影响双重光滑化技术的收敛速率？
• RQ2 当函数为强凸或具有Lipschitz连续梯度时，收敛速率是否可进一步提升？
• RQ3 当函数的有效定义域无界时，双重光滑化方法的理论收敛速率是多少？
• RQ4 在双重光滑化框架中，如何高效地从对偶迭代中恢复近似最优的原始解？
• RQ5 在图像重建任务中，加速后的双重光滑化方法与标准一阶方法（如ISTA和FISTA）相比，实际表现如何？

主要发现

• 当函数 $g$ 为强凸时，即使不假设有效定义域有界，收敛速率仍保持为 $O\left(\frac{1}{\epsilon}\ln\left(\frac{1}{\epsilon}\right)\right)$。
• 若 $f$ 为强凸或 $g$ 处处可微且梯度Lipschitz连续，则收敛速率提升至 $O\left(\frac{1}{\sqrt{\epsilon}}\ln\left(\frac{1}{\epsilon}\right)\right)$。
• 当 $f$ 为强凸且 $g$ 可微且梯度Lipschitz连续时，收敛速率达到最优的 $O\left(\ln\left(\frac{1}{\epsilon}\right)\right)$。
• 双重光滑化方法能以与对偶问题相同的收敛速率，成功从对偶迭代中重构近似最优的原始解。
• 图像去模糊的数值实验表明，双重光滑化方法在信噪比（ISNR）和重建质量方面优于ISTA和FISTA。
• 该方法在具有有利函数性质时，收敛速度更快，图像重建质量更高，优于标准一阶方法。