[论文解读] On a decomposition formula for the proximal operator of the sum of two convex functions

Samir Adly, Loïc Bourdin+1 more|arXiv (Cornell University)|Jul 26, 2017

Optimization and Variational Analysis被引用 6

一句话总结

本文提出了一种用于两个凸函数之和的近端算子的新分解公式，定义了一种新算子——称为 $g$ 的 $f$-近端算子，记为 $\mathrm{prox}^{f}_{g}$。关键结果为 $\mathrm{prox}_{f+g} = \mathrm{prox}_{f} \circ \mathrm{prox}^{f}_{g}$，该公式可通过弱收敛算法实现数值计算，并为变分不等式中的敏感性分析提供了理论基础。

ABSTRACT

The main result of the present theoretical paper is an original decomposition formula for the proximal operator of the sum of two proper, lower semicontinuous and convex functions $f$ and $g$. For this purpose, we introduce a new operator, called $f$-proximal operator of $g$ and denoted by $\mathrm{prox}^f_g$, that generalizes the classical notion. Then we prove the decomposition formula $\mathrm{prox}_{f+g} = \mathrm{prox}_f \circ \mathrm{prox}^f_g$. After collecting several properties and characterizations of $\mathrm{prox}^f_g$, we prove that it coincides with the fixed points of a generalized version of the classical Douglas-Rachford operator. This relationship is used for the construction of a weakly convergent algorithm that computes numerically this new operator $\mathrm{prox}^f_g$, and thus, from the decomposition formula, allows to compute numerically $\mathrm{prox}_{f+g}$. It turns out that this algorithm was already considered and implemented in previous works, showing that $\mathrm{prox}^f_g$ is already present (in a hidden form) and useful for numerical purposes in the existing literature. However, to the best of our knowledge, it has never been explicitly expressed in a closed formula and neither been deeply studied from a theoretical point of view. The present paper contributes to fill this gap in the literature. Finally we give an illustration of the usefulness of the decomposition formula in the context of sensitivity analysis of linear variational inequalities of second kind in a Hilbert space.

研究动机与目标

• 为一般凸函数 $f$ 和 $g$ 解决 $\mathrm{prox}_{f+g}$ 如何用 $\mathrm{prox}_f$ 和 $\mathrm{prox}_g$ 表示的开放问题。
• 正式定义并研究 $f$-近端算子 $\mathrm{prox}^{f}_{g}$，作为经典近端算子的推广。
• 建立 $\mathrm{prox}^{f}_{g}$ 与 Douglas-Rachford 算子之间的理论联系，以实现数值计算。
• 将分解公式应用于希尔伯特空间中第二类线性变分不等式的敏感性分析。
• 证明 $\mathrm{prox}_{f+g}$ 不存在关于 $\mathrm{prox}_f$、$\mathrm{prox}_g$ 及其逆算子的通用闭式表达式。

提出的方法

• 将 $f$-近端算子 $\mathrm{prox}^{f}_{g}$ 定义为经典近端算子的推广，通过涉及 $f$ 和 $g$ 的变分不等式进行定义。
• 证明分解公式 $\mathrm{prox}_{f+g} = \mathrm{prox}_{f} \circ \mathrm{prox}^{f}_{g}$，该公式将和的近端算子表示为复合形式。
• 将 $\mathrm{prox}^{f}_{g}$ 表征为广义 Douglas-Rachford 算子的不动点，从而实现迭代数值计算。
• 提出一种弱收敛算法，用于数值计算 $\mathrm{prox}^{f}_{g}$，并利用其与 Douglas-Rachford 分裂法的联系。
• 利用分解公式推导出参数化变分不等式解的渐近展开，实现在 $t=0$ 处的敏感性分析。
• 证明一个非存在性结果：$\mathrm{prox}_{f+g}$ 不存在关于 $\mathrm{I}$、$\mathrm{prox}_f$、$\mathrm{prox}_g$、$\mathrm{prox}_f^{-1}$ 和 $\mathrm{prox}_g^{-1}$ 的复合形式的线性组合的通用闭式表达式。

实验结果

研究问题

• RQ1 两个凸函数之和的近端算子能否表示为更简单近端算子的复合？
• RQ2 $\mathrm{prox}^{f}_{g}$ 这一新定义的 $f$-近端算子在理论与数值计算中的意义是什么？
• RQ3 $\mathrm{prox}^{f}_{g}$ 与 Douglas-Rachford 分裂框架有何关系？
• RQ4 该分解公式能否用于具有非光滑约束的变分不等式的敏感性分析？
• RQ5 是否存在 $\mathrm{prox}_{f+g}$ 关于 $\mathrm{prox}_f$、$\mathrm{prox}_g$ 及其逆算子的通用闭式表达式？

主要发现

• 分解公式 $\mathrm{prox}_{f+g} = \mathrm{prox}_{f} \circ \mathrm{prox}^{f}_{g}$ 对希尔伯特空间上所有适当的、下确连续的凸函数 $f$ 和 $g$ 均成立。
• $\mathrm{prox}^{f}_{g}$ 被表征为广义 Douglas-Rachford 算子的不动点，从而支持数值算法的弱收敛性。
• 用于计算 $\mathrm{prox}^{f}_{g}$ 的算法是弱收敛的，可借助分解公式实现 $\mathrm{prox}_{f+g}$ 的数值计算。
• 分解公式为第二类变分不等式的敏感性分析提供了新方法，可得到 $u'(0)$ 关于 $\mathrm{prox}^{\varphi_f}_{\psi_g}$ 的表达式。
• 证明了一个非存在性结果：$\mathrm{prox}_{f+g}$ 不存在关于 $\mathrm{I}$、$\mathrm{prox}_f$、$\mathrm{prox}_g$、$\mathrm{prox}_f^{-1}$ 和 $\mathrm{prox}_g^{-1}$ 的复合形式的线性组合的通用闭式表达式。
• 该理论框架恢复并推广了经典结果，例如 Mignot 对投影的渐近展开，并将其扩展至非光滑情形。