[论文解读] On convexification/optimization of functionals including an l2-misfit term

Marcus Carlsson|arXiv (Cornell University)|Sep 29, 2016

Sparse and Compressive Sensing Techniques参考文献 5被引用 20

一句话总结

本文提出了一种新型变换 $ olimits^2$，用于计算结合了非凸惩罚项（如 $ olimits^0$-范数或秩）与 $ olimits^2$-数据保真项的泛函的下极限连续凸包络。研究证明，$f(x) + \frac{1}{2}\|x - d\|^2$ 的凸包络为 $\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$，提供了一个统一的理论框架，避免了标准凸松弛方法（如 $ olimits^1$-最小化或核范数最小化）带来的偏差。

ABSTRACT

We provide theory for computing the lower semi-continuous convex envelope of functionals of the type f(x) plus an l2 misfit, and discuss applications to various non-convex optimization problems. The latter term is a data fit term whereas f provides structural constraints on x. By minimizing the above expression, possibly with additional constraints, we thus find a tradeoff between matching the measured data and enforcing a particular structure on x, such as sparsity or low rank. For these particular cases, the theory provides alternatives to convex relaxation techniques such as l1 -minimization (for vectors) and nuclear norm-minimization (for matrices). For functionals where the l2 misfit includes a singular matrix and where the convex envelope usually is not explicitly computable, we provide theory for how minimizers of (explicitly computable) approximations of the convex envelope relate to minimizers of the original functional. In particular, we give explicit conditions on when the two coincide.

研究动机与目标

• 解决标准凸松弛技术（如 $\ell^1$-最小化、核范数）在稀疏与低秩恢复问题中固有的偏差问题。
• 为结合非凸稀疏性或低秩惩罚项与 $\ell^2$-数据保真项的泛函，提供一个统一的理论框架，用于计算其下极限连续凸包络。
• 克服标准凸松弛失效的局限性，即 $\|x\|_0$ 或 $\mathrm{rank}(X)$ 的凸包络恒为零。
• 建立在何种条件下，凸包络近似解的极小化点与原始非凸泛函的极小化点一致。
• 将理论扩展至一般希尔伯特空间与矩阵值泛函，使其可应用于信号与图像处理中的多样化优化问题。

提出的方法

• 引入变换 $\mathcal{S}^2_\gamma(f)$，其中 $\mathcal{S}^2_\gamma(f)(x) + \frac{\gamma}{2}\|x\|^2$ 等于 $f(x) + \frac{\gamma}{2}\|x\|^2$ 的下极限连续凸包络。
• 证明 $f(x) + \frac{1}{2}\|x - d\|^2$ 的凸包络为 $\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$，且包络形状与数据项 $d$ 无关。
• 将 $\mathcal{S}^2(f)$ 与已知构造（如莫雷乌包络与拉什利-利翁逼近）关联，以支持计算上的可实现性。
• 在关键情形下提供 $\mathcal{S}^2(f)$ 的显式公式，包括 $f(x) = \|x\|_0$ 与 $f(X) = \mathrm{rank}(X)$ 的情形，并推广至加权与约束变体。
• 利用奇异值分解与矩阵扰动分析，证明在特定条件下，凸包络可保持秩与稀疏性结构。
• 建立 $\ell^0$ 与秩泛函在 $\ell^2(\mathbb{N})$ 与 $\mathcal{B}_2(\mathcal{V}_1, \mathcal{V}_2)$ 上的弱下半连续性，以支持凸包络的构造。

实验结果

研究问题

• RQ1 能否显式计算结合了非凸稀疏性或低秩惩罚项与 $\ell^2$-数据保真项的泛函的下极限连续凸包络？
• RQ2 所提出的 $\mathcal{S}^2$ 变换与现有凸化技术（如 $\ell^1$-最小化或核范数最小化）有何关联？
• RQ3 在何种条件下，凸化泛函的极小化点与原始非凸泛函的极小化点一致？
• RQ4 参数 $\gamma$ 在 $\mathcal{S}^2_\gamma$ 变换中的作用是什么？它如何影响凸包络？
• RQ5 当 $\|x\|_0$ 或 $\mathrm{rank}(X)$ 的标准凸包络为平凡值（零）时，能否有意义地计算其凸包络？

主要发现

• $f(x) + \frac{1}{2}\|x - d\|^2$ 的下极限连续凸包络为 $\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$，其中 $\mathcal{S}^2(f)$ 是 $f$ 的 $\mathcal{S}^2$ 变换。
• 对于 $\ell^0$-范数与秩泛函，$\mathcal{S}^2(f)$ 提供了非平凡的凸包络，避免了基于 $\ell^1$ 或核范数松弛带来的偏差。
• 在明确条件下（特别是数据无噪声且解为稀疏或低秩时），凸化泛函 $\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$ 的极小化点与原始非凸泛函 $f(x) + \frac{1}{2}\|x - d\|^2$ 的极小化点一致。
• $\mathcal{S}^2$ 变换与莫雷乌包络及拉什利-利翁逼近密切相关，可通过邻近算法实现高效计算。
• $\ell^0$-范数与秩泛函分别在 $\ell^2(\mathbb{N})$ 与 $\mathcal{B}_2(\mathcal{V}_1, \mathcal{V}_2)$ 上具有弱下半连续性，支持凸包络的存在性与稳定性。
• 对于矩阵泛函，凸包络在扰动下保持奇异向量对齐性，其证明依赖于：当 $X(s)$ 沿分段仿射方式扩展时，内积 $\langle X(s), Y \rangle$ 等于奇异值乘积之和。