[论文解读] Risk Estimators for Choosing Regularization Parameters in Ill-Posed Problems - Properties and Limitations

Felix Lucka, Katharina Proksch+5 more|arXiv (Cornell University)|Jan 1, 2017

Numerical methods in inverse problems参考文献 36被引用 1

一句话总结

本文研究了 Stein 的无偏风险估计器（SURE）及其变体 PSURE 在病态逆问题中选择正则化参数时的统计可靠性，特别针对 Tikhonov 正则化和稀疏性正则化。理论与数值结果表明，随着病态程度增加，基于 SURE 的参数选择可能导致极小的正则化参数，从而引起重建不稳定；而尽管较为保守，偏差原则（discrepancy principle）仍表现出更强的鲁棒性。

ABSTRACT

This paper discusses the properties of certain risk estimators recently proposed to choose regularization parameters in ill-posed problems. A simple approach is Stein's unbiased risk estimator (SURE), which estimates the risk in the data space, while a recent modification (GSURE) estimates the risk in the space of the unknown variable. It seems intuitive that the latter is more appropriate for ill-posed problems, since the properties in the data space do not tell much about the quality of the reconstruction. We provide theoretical studies of both estimators for linear Tikhonov regularization in a finite dimensional setting and estimate the quality of the risk estimators, which also leads to asymptotic convergence results as the dimension of the problem tends to infinity. Unlike previous papers, who studied image processing problems with a very low degree of ill-posedness, we are interested in the behavior of the risk estimators for increasing ill-posedness. Interestingly, our theoretical results indicate that the quality of the GSURE risk can deteriorate asymptotically for ill-posed problems, which is confirmed by a detailed numerical study. The latter shows that in many cases the GSURE estimator leads to extremely small regularization parameters, which obviously cannot stabilize the reconstruction. Similar but less severe issues with respect to robustness also appear for the SURE estimator, which in comparison to the rather conservative discrepancy principle leads to the conclusion that regularization parameter choice based on unbiased risk estimation is not a reliable procedure for ill-posed problems. A similar numerical study for sparsity regularization demonstrates that the same issue appears in nonlinear variational regularization approaches.

研究动机与目标

• 分析 SURE 和 PSURE 在病态问题中正则化参数选择的统计特性。
• 研究随着病态程度增加，基于风险的参数选择规则的性能与可靠性如何变化。
• 从鲁棒性与稳定性角度，比较 SURE 和 PSURE 与经典偏差原则的差异。
• 将理论分析扩展至线性 Tikhonov 正则化，并在有限维设置中通过数值方法验证结论。
• 评估无偏风险估计在非线性变分正则化中的适用性，特别是促进稀疏性的方法。

提出的方法

• 基于有限维模型，对线性 Tikhonov 正则化中的 SURE 和 PSURE 进行理论分析。
• 利用 Kolmogorov 的最大不等式与矩界，推导问题维数增加时的渐近收敛结果。
• 在病态程度逐渐增加的模型问题上进行数值实验，以评估参数选择行为。
• 将偏差原则用作鲁棒性比较的基准。
• 采用一次全部求解的 ADMM 求解器，以确保在多个正则化参数下 LASSO 解的一致性。
• 通过噪声与奇异值相关随机过程的上确界界限，对风险估计器质量进行统计估计。

实验结果

研究问题

• RQ1 随着病态程度的增加，基于 SURE 的正则化参数选择性能如何退化？
• RQ2 PSURE 和 SURE 在估计病态问题真实风险时的理论极限是什么？
• RQ3 在稳定性与重建可靠性方面，风险估计器质量与偏差原则相比如何？
• RQ4 无偏风险估计能否在非线性、促进稀疏性的正则化（如 L1-正则化）中可靠应用？
• RQ5 当问题维数趋于无穷时，SURE 和 PSURE 的渐近行为如何？

主要发现

• 在高度病态问题中，基于 SURE 的参数选择会导致极小的正则化参数，从而引起不稳定且劣化的重建结果。
• 理论分析表明，随着病态程度增加，SURE 风险估计器的质量在渐近意义上会下降，尤其在高维情形下更为明显。
• PSURE 表现出类似但程度较轻的鲁棒性问题，尽管仍不如偏差原则可靠。
• 尽管偏差原则较为保守，但其始终能避免过拟合，并在高度病态情形下产生稳定重建。
• 数值研究证实，当病态程度增加时，基于风险的方法无法稳定重建，而偏差原则始终保持鲁棒性。
• 本研究将这些发现扩展至非线性稀疏性正则化，表明在 L1-正则化变分模型中，同样的不稳定性问题依然存在。