[论文解读] Tradeoffs between Convergence Speed and Reconstruction Accuracy in Inverse Problems

Raja Giryes, Yonina C. Eldar+2 more|arXiv (Cornell University)|May 30, 2016

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文建立了在迭代逆问题求解器中收敛速度与重建精度之间的理论权衡，表明使用低维信号集的粗略近似可以在付出有界误差的代价下加速收敛。关键贡献在于构建了一个将此权衡与压缩感知、稀疏恢复及深度学习联系起来的框架，对诸如 LISTA 这类学习型迭代算法具有启示意义。

ABSTRACT

Solving inverse problems with iterative algorithms is popular, especially for large data. Due to time constraints, the number of possible iterations is usually limited, potentially affecting the achievable accuracy. Given an error one is willing to tolerate, an important question is whether it is possible to modify the original iterations to obtain faster convergence to a minimizer achieving the allowed error without increasing the computational cost of each iteration considerably. Relying on recent recovery techniques developed for settings in which the desired signal belongs to some low-dimensional set, we show that using a coarse estimate of this set may lead to faster convergence at the cost of an additional reconstruction error related to the accuracy of the set approximation. Our theory ties to recent advances in sparse recovery, compressed sensing, and deep learning. Particularly, it may provide a possible explanation to the successful approximation of the l1-minimization solution by neural networks with layers representing iterations, as practiced in the learned iterative shrinkage-thresholding algorithm (LISTA).

研究动机与目标

• 理解由于时间限制而提前截断迭代求解器时，收敛速度与重建精度之间的权衡。
• 研究通过使用低维信号集的粗略近似来修改迭代算法，是否能在不增加每轮计算成本的前提下加速收敛。
• 为学习型迭代方法（如 LISTA）的成功提供理论基础，这些方法通过学习层近似 ℓ1-最小化。
• 形式化信号模型中的近似误差如何影响迭代优化中的收敛速度和最终重建精度。

提出的方法

• 提出一个分析框架，研究信号属于低维集合 𝒦 的迭代算法，其中在 𝒦 的粗略近似下分析收敛性。
• 引入一种扰动模型，其中真实集合 𝒦 被近似为粗略集合 𝒟，并推导出由此产生的迭代误差界。
• 使用投影算子和谱范数，对迭代软阈值算法（ISTA）和投影梯度法中的误差传播进行边界约束。
• 推导出依赖于测量矩阵条件数和信号集近似质量的理论收敛速率。
• 将该理论应用于分析学习型迭代软阈值算法（LISTA），表明学习参数实际上实现了对 ℓ1-球的粗略近似。
• 运用凸分析、压缩感知和算子理论的工具，以近似误差 ϵ 和信号集几何结构来界定误差。

实验结果

研究问题

• RQ1 我们能否通过使用真实信号集的粗略近似来加速迭代逆问题求解器的收敛，即使这会引入有界重建误差？
• RQ2 信号集近似精度与迭代算法收敛速度之间的理论关系是什么？
• RQ3 当迭代被提前截断时，信号模型中的近似误差如何影响最终的重建精度？
• RQ4 学习型迭代算法（如 LISTA）的成功是否可由收敛速度与近似误差之间的这一权衡来解释？
• RQ5 在何种条件下，粗略集合近似可实现更快收敛而不增加每轮计算成本？

主要发现

• 本文确立了使用低维信号集的粗略近似可使收敛速度加快，其加速因子与近似误差 ϵ 及集合几何结构相关。
• 推导出理论界，表明迭代误差随 ϵ（信号集的近似误差）和真实信号范数线性增长。
• 表明迭代方法的收敛速率取决于测量矩阵的谱性质和集合的近似质量，当集合被良好近似时可实现更快收敛。
• 该分析为 LISTA 的成功提供了理论解释：学习参数实际上实现了对 ℓ1-球的粗略近似，从而比标准 ISTA 收敛更快。
• 推导出的误差界是紧致的，依赖于测量矩阵的条件数和信号集的曲率，验证了速度与精度之间的权衡。