[论文解读] Stopping criterion for iterative regularization of large-scale ill-posed problems using the Picard parameter

Eitan Levin, Alexander Y. Meltzer|arXiv (Cornell University)|Jul 13, 2017

Numerical methods in inverse problems参考文献 22被引用 6

一句话总结

该论文提出了一种用于大规模不适定问题Krylov子空间迭代正则化的新型停止准则，采用广义Picard参数。通过在傅里叶域中利用双曲或椭圆顺序对DFT系数进行滤波，并最小化重构数据与滤波后数据之间的距离，该方法在噪声较大、规模较大的情形下，相较于L曲线、NCP和W-GCV等最先进准则，展现出更优的精度与鲁棒性。

ABSTRACT

We propose a new stopping criterion for Krylov subspace iterative regularization of large-scale ill-posed inverse problems. Our stopping criterion accurately filters the data using a generalization of the Picard parameter that was originally introduced for direct regularization of small-scale problems. In the one dimension we filter the data in the discrete Fourier transform (DFT) basis using the Picard parameter, which separates noise-dominated Fourier coefficients from the signal-dominated ones. For two-dimensional problems we propose a novel vectorization scheme of the Fourier coefficients of the data based on the Kronecker product structure of the two-dimensional DFT matrix, which effectively reduces the problem to one dimension. At each iteration we compute the distance between the data reconstructed from the iterated solution and the filtered data, terminating the iterations once this distance begins to increase or to level off. The accuracy and robustness of the proposed method is demonstrated by several numerical examples and a MATLAB-based implementation is provided.

研究动机与目标

• 为解决大规模不适定问题中Krylov子空间正则化时选择最优停止迭代次数的挑战。
• 克服现有停止规则（如L曲线、GCV和不一致原理）的局限性——这些规则在精度、对噪声的敏感性或对噪声水平先验知识方面存在不足。
• 通过基于DFT矩阵的Kronecker积结构的向量化DFT滤波方法，将原本仅适用于小规模问题的Picard参数推广至大规模问题。
• 开发一种稳健、数据驱动的停止准则，避免在投影问题中依赖于含噪声的系数矩阵。
• 在包括图像去模糊和机器学习应用在内的多种数值实验中，证明其性能优于当前最先进的方法。

提出的方法

• 通过基于2D DFT矩阵Kronecker积结构的向量化方案，将Picard参数推广至大规模问题，对数据的傅里叶系数进行滤波。
• 通过在频域中采用双曲或椭圆模式对DFT系数进行排序，将二维问题重新表述为一维滤波问题。
• 在Golub-Kahan双对角化（GKB）的每次迭代中，计算由当前近似解 $Ax^{(k)}$ 重构的数据与滤波后数据 $ olinebreak extbackslash{}widehat extbraceleft b extbraceright$ 之间的距离。
• 当该距离开始增加或趋于平稳时，停止迭代，表明噪声开始被放大。
• 滤波过程将信号主导的与噪声主导的傅里叶系数分离开来，Picard参数 $k_0$ 决定截断点。
• 该方法仅在数据向量上操作，避免了在投影问题中对含噪声系数矩阵的依赖，因此在这些场景下比GCV或L曲线更可靠。

实验结果

研究问题

• RQ1 Picard参数能否被有效推广至大规模不适定问题，以指导迭代正则化中的停止？
• RQ2 DFT系数排序方式（双曲与椭圆）的选择如何影响停止准则的性能？
• RQ3 所提出的数据滤波（DF）方法是否在精度与鲁棒性方面优于L曲线、NCP和W-GCV等成熟停止规则？
• RQ4 当噪声水平未知或显著变化时，该方法的性能在多大程度上仍保持有效？
• RQ5 当残差范数未表现出明显最小值时，DF方法是否仍能可靠检测到最优停止迭代？

主要发现

• 采用双曲排序的DF方法在所有测试问题（包括卫星、模糊和文本去模糊）中，性能始终优于或等同于L曲线、NCP和W-GCV。
• 在90%的测试案例中，DF方法采用双曲排序实现了最低的均方偏差（MSD），其中中位数MSD显著低于其他对比方法。
• 在 $\alpha = 10^{-4}$ 条件下的Text2问题中，由于距离函数中缺乏最小值或拐点，椭圆排序未能找到有效停止点，而双曲排序成功实现了停止。
• 投影Tikhonov问题与PLS问题的最优解具有几乎相同的MSD值，证实了该方法在不同正则化框架下的稳定性。
• 该方法在不同噪声水平（$\alpha = 10^{-2}, 10^{-4}, 10^{-6}$）下表现出鲁棒性，随着噪声降低，性能下降极小。
• 其MATLAB实现支持实际应用与可复现性，已在图像去模糊和机器学习等实际场景中得到验证。