[论文解读] Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and Thresholds

Xiaohan Chen, Jialin Liu+2 more|arXiv (Cornell University)|Aug 29, 2018

Optical Systems and Laser Technology被引用 152

一句话总结

本文摘要：本文证明在部分权重耦合下展开的 ISTA（LISTA）的线性收敛，并提出一种支持选择技术以提升收敛性，并通过仿真实验和自然图像 CS 实验验证理论。

ABSTRACT

In recent years, unfolding iterative algorithms as neural networks has become an empirical success in solving sparse recovery problems. However, its theoretical understanding is still immature, which prevents us from fully utilizing the power of neural networks. In this work, we study unfolded ISTA (Iterative Shrinkage Thresholding Algorithm) for sparse signal recovery. We introduce a weight structure that is necessary for asymptotic convergence to the true sparse signal. With this structure, unfolded ISTA can attain a linear convergence, which is better than the sublinear convergence of ISTA/FISTA in general cases. Furthermore, we propose to incorporate thresholding in the network to perform support selection, which is easy to implement and able to boost the convergence rate both theoretically and empirically. Extensive simulations, including sparse vector recovery and a compressive sensing experiment on real image data, corroborate our theoretical results and demonstrate their practical usefulness. We have made our codes publicly available: https://github.com/xchen-tamu/linear-lista-cpss.

研究动机与目标

• 通过将 ISTA 展开为可训练网络（LISTA）来提升稀疏恢复的动机。
• 确定 LISTA 权重的结构条件，保证收敛到真实稀疏信号的线性收敛。
• 提出一种实用的支持选择机制，以提升收敛速度和恢复精度。
• 在理论和实证上证明所提出的 LISTA 变体在有噪声和无噪声场景下优于基线。

提出的方法

• 引入部分权重耦合结构 W2 ≈ I − W1A，并证明它对收敛是渐近必要的（Theorem 1）。
• 推导带耦合权重的简化 LISTA 更新：x^{k+1} = η_{θ^k}(x^k + W^{k T}(b − A x^k)).
• 提出 LISTA-CP（带权重耦合）并证明在无噪声情形的线性收敛（Theorem 2）。
• 通过引入支持选择（SS）机制增强 LISTA，使对幅值最大的条目在阈值处理时得到保护，形成 LISTA-SS 和 LISTA-CPSS（Theorem 3）。
• 给出收敛界：无噪声和有噪声情形的线性收敛速率界，以及在温和假设下使用 SS 的改进速率。

实验结果

研究问题

• RQ1 能否在可学习参数下保证 LISTA 对真实稀疏信号线性收敛？
• RQ2 哪些权重结构和参数化可以实现比标准 ISTA/FISTA 更快的收敛？
• RQ3 引入基于阈值的支持选择是否提升收敛速率和恢复精度？
• RQ4 在无噪声和有噪声的情形，以及字典条件数不良时，所提出的 LISTA 变体的表现如何？

主要发现

• LISTA-2（带部分权重耦合）存在必要条件 W2 → I − W1A 和 θ^k → 0 的收敛条件（Theorem 1）。
• 具有权重耦合时，LISTA 简化为双参数的可训练形式，并在经验上达到或超过基线 LISTA 的性能（LISTA-CP 结果）。
• 存在一组可训练参数序列，从第一迭代就实现线性收敛（Theorem 2）。
• 使用可学习的阈值路径（自适应 λ 类行为）的阈值化在仿真中提高了收敛和精度，相较于 ISTA。
• 阈值化的支持选择（LISTA-CPSS）在收敛速度和稳态误差方面优于 LISTA-CP，尤其随着层数增加（Theorem 3）。
• 对于病态 A，LISTA-CP/CPSS 在不同条件数下仍优于 LISTA 和 LAMP。