[论文解读] On the linear convergence rates of exchange and continuous methods for total variation minimization

Axel Flinth, Frédéric de Gournay+1 more|arXiv (Cornell University)|Jun 24, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用 32

一句话总结

本论文分析在 Radon 测度上的全变差正则化反问题的交换算法，在正则性假设下证明最终线性收敛，并证明对连续优化质点的幅值与位置具有线性收敛，同时给出一种结合两种方法的交替方案。

ABSTRACT

We analyze an exchange algorithm for the numerical solution total-variation regularized inverse problems over the space M($\\Omega$) of Radon measures on a subset $\\Omega$ of R d. Our main result states that under some regularity conditions, the method eventually converges linearly. Additionally, we prove that continuously optimizing the amplitudes of positions of the target measure will succeed at a linear rate with a good initialization. Finally, we propose to combine the two approaches into an alternating method and discuss the comparative advantages of this approach.

研究动机与目标

• 动机并分析在 Radon 测度上的无限维全变差最小化的迭代算法。
• 建立收敛速率，包括在正则性假设下交换算法的最终线性收敛。
• 展示对 Dirac 质量点的幅值与位置的基于梯度的连续优化的线性收敛。
• 提出并讨论一种结合两种方法优点的交替交换-连续策略。
• 在一维和二维全变差问题中说明结果。

提出的方法

• 将无限维问题公式化为 inf_{μ∈M(Ω)} ||μ||_M + f(Aμ)，其中 A: M(Ω) → R^m，f 为凸函数。
• 使用一个将 Ω 离散化为网格 Ω_k 的交换算法，并更新 Ω_{k+1} = Ω_k ∪ X_k，其中 X_k 由 |A^* q_k| 大于 1 的局部极大点组成。
• 利用原问题及其对偶之间的对偶性，在给定假设下强对偶性，通过 A^* q^* ∈ ∂||μ^*||_M 和 -q^* ∈ ∂ f(A μ^*) 将 μ^*、q^* 联系起来。
• 给出一个通用收敛性结果：在 f 的梯度为 Lipschitz 连续的可微性条件下（或其他合适条件），子序列收敛到原问题-对偶解；若解唯一，则整個序列收敛。
• 引入假设5–6 以处理非退化源条件，并在对偶证书非退化时推导交换方案的线性收敛速率。
• 给出连接离散化距离、对偶变量和目标函数差距的辅助界与引理。

实验结果

研究问题

• RQ1 一个在 Radon 测度上的全变差最小化的交换算法是否收敛到无限维问题的解？
• RQ2 在非退化对偶证书下，交换算法是否实现线性收敛，离散化距离如何影响收敛？
• RQ3 对 Dirac 质量点的位置和幅值进行基于梯度的连续优化是否能实现对真实稀疏测度的线性收敛？
• RQ4 交替的交换-连续方法是否具备收敛保证并带来实际效率？
• RQ5 结果如何扩展到信号处理领域中的一维和二维全变差正则化问题？

主要发现

• 在温和假设下，交换算法（子序列）收敛到原-对偶解；目标值也收敛。
• 在对偶证书的非退化源条件下，X_k 中的活跃支持点集合在有限次迭代后稳定为 s 点，且代价以线性收缩。
• 对成对 (α, x) 的良好初始梯度下降线性收敛到 μ^*，并给出明确的吸引域。
• 在交换步骤与连续优化之间交替可以将全局收敛性保证与一阶方法的效率结合起来。
• 结果在一维和二维全变差最小化中给出示例，重点是二次保真项。
• 分析通过对偶问题将问题与半无限规划联系起来，展示对偶证书如何支配收敛行为。