[论文解读] Thresholding gradient methods in Hilbert spaces: support identification and linear convergence

Guillaume Garrigos, Lorenzo Rosasco+1 more|arXiv (Cornell University)|Dec 1, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用 5

一句话总结

本文在不假设算子 $A$ 或问题结构的前提下，建立了在可分希尔伯特空间中，$β^{1}$-正则化最小二乘问题的迭代软阈值算法（ISTA）的线性收敛性。关键洞见在于，ISTA 可在有限步内识别出解的扩展支撑集，此后目标函数在有限维子空间上呈现一致条件性，从而通过条件性性质实现线性收敛。

ABSTRACT

We study $\\ell^1$ regularized least squares optimization problem in a separable Hilbert space. We show that the iterative soft-thresholding algorithm (ISTA) converges linearly, without making any assumption on the linear operator into play or on the problem. The result is obtained combining two key concepts: the notion of extended support, a finite set containing the support, and the notion of conditioning over finite dimensional sets. We prove that ISTA identifies the solution extended support after a finite number of iterations, and we derive linear convergence from the conditioning property, which is always satisfied for $\\ell^1$ regularized least squares problems. Our analysis extends to the the entire class of thresholding gradient algorithms, for which we provide a conceptually new proof of strong convergence, as well as convergence rates.

研究动机与目标

• 从几何角度解释希尔伯特空间中阈值梯度方法的强收敛性及其线性收敛速率。
• 识别在不假设算子 $A$ 的单射性或非退化性条件时，ISTA 实现线性收敛的条件。
• 通过引入扩展支撑集与有限维条件性的概念，统一有限维与无限维收敛性分析。
• 为整个阈值梯度算法类提供强收敛性与收敛速率的全新证明。

提出的方法

• 引入扩展支撑集的概念，即一个包含解真实支撑集的有限集合，该集合可被 ISTA 在有限步内识别。
• 利用有限维子空间上的 $p$-条件性概念，建立线性收敛速率。
• 应用文献 [20] 中的条件性分解求和法则，将目标函数分解为若干各自具有良好条件性的分量。
• 运用莫雷诺恒等式与次微分微积分，分析前向-后向框架中的近端步长。
• 通过支撑集识别，将无限维问题约化为有限维问题，其中有利的几何结构确保线性收敛。
• 证明 ISTA 的迭代序列在有限时间支撑集识别后，始终位于有限维子空间内，从而保证强收敛。

实验结果

研究问题

• RQ1 是否可以在不假设算子 $A$ 的前提下，为希尔伯特空间中 $β^{1}$-正则化最小二乘问题的 ISTA 建立线性收敛性？
• RQ2 迭代软阈值算法是否能在有限步内识别出解的扩展支撑集？
• RQ3 是否可对有限维与无限维设置下的阈值梯度方法收敛速率进行统一分析？
• RQ4 希尔伯特空间中 ISTA 的强收敛性是否源于有限维支撑集识别及后续的条件性？
• RQ5 扩展支撑集在无需非退化性或单射性假设的前提下，如何促成线性收敛？

主要发现

• 无论算子 $A$ 如何，ISTA 均可在有限步内识别出解的扩展支撑集。
• 支撑集识别后，目标函数在有限维子空间上呈现 $2$-条件性，从而确保线性收敛。
• 在任意可分希尔伯特空间中，$β^{1}$-正则化最小二乘问题的 ISTA 收敛性无需对 $A$ 做任何假设，即可保证线性收敛。
• 收敛速率是线性的，且仅依赖于在已识别的有限维子空间上问题的条件性。
• 该分析可推广至带有 $\ell^{p}$ 正则化的弹性网络形式，收敛速率依赖于 $p \in (1, \infty)$。
• 通过有限时间支撑集识别与有限维条件性，为阈值梯度方法建立了强收敛性的全新证明。