[论文解读] Q-curve and area rules for choosing heuristic parameter in Tikhonov regularization

Toomas Raus, Uno Hämarik|arXiv (Cornell University)|Sep 6, 2018

Numerical methods in inverse problems参考文献 27被引用 3

一句话总结

本文提出Q曲线和面积规则，以在噪声水平未知时改进Tikhonov正则化中启发式正则化参数的选择。通过分析广义最优性函数的局部极小值，并使用一种新颖的Q曲线（绘制修正残差与广义最优性函数）来识别通过最大面积多边形确定的稳健参数。该方法优于以往的启发式规则，并与依赖噪声水平的规则（如残差原则和单调误差规则）性能相当。

ABSTRACT

We consider choice of the regularization parameter in Tikhonov method if the noise level of the data is unknown. One of the best rules for the heuristic parameter choice is the quasi-optimality criterion where the parameter is chosen as the global minimizer of the quasi-optimality function. In some problems this rule fails. We prove that one of the local minimizers of the quasi-optimality function is always a good regularization parameter. For choice of the proper local minimizer we propose to construct the Q-curve which is the analogue of the L-curve, but on x-axis we use modified discrepancy instead of discrepancy and on the y-axis the quasi-optimality function instead of the norm of the approximate solution. In area rule we choose for the regularization parameter such local minimizer of the quasi-optimality function for which the area of polygon, connecting on Q-curve this minimum point with certain maximum points, is maximal. We also provide a posteriori error estimates of the approximate solution, which allows to check the reliability of parameter chosen heuristically. Numerical experiments on extensive set of test problems confirm that the proposed rules give much better results than previous heuristic rules. Results of proposed rules are comparable with results of the discrepancy principle and the monotone error rule, if last two rules use the exact noise level.

研究动机与目标

• 解决在数据噪声水平未知时选择Tikhonov正则化参数的挑战。
• 克服现有启发式规则（如广义最优性准则）在某些不适定问题中可能失效的局限性。
• 开发一种可靠方法，从广义最优性函数的局部极小值中选择参数，以确保收敛性和稳定性。
• 提供后验误差估计，以验证启发式选择参数的可靠性。
• 通过引入Q曲线和面积规则，改进以往的启发式规则，提升参数选择的准确性。

提出的方法

• 提出Q曲线作为L曲线的类比，其中x轴为修正残差，y轴为广义最优性函数ψ_Q(α)。
• 定义面积规则，将正则化参数选择为使与Q曲线上特定最大点构成的多边形面积最大的ψ_Q(α)的局部极小值。
• 使用ψ_Q(α)的局部极小值集合L_min作为候选参数，并证明其中至少一个为伪最优（即其误差在最小误差的常数倍之内）。
• 引入后验误差估计(20)，通过T(α_H, α*)和T1(α_H)界定了启发式解的误差，从而实现对参数可靠性的验证。
• 提出使用ψ_QD(α)或d_ME(α)替代d_MD(α)的变体，以提升在非光滑或光滑解情况下的性能。
• 在文献中广泛使用的基准测试问题集上实现并测试了这些规则，包括来自[19, 5, 1, 10, 22, 39]的问题。

实验结果

研究问题

• RQ1 当噪声水平未知时，广义最优性函数ψ_Q(α)的局部极小值能否作为正则化参数的可靠候选？
• RQ2 如何构建Q曲线，以在选择ψ_Q(α)的局部极小值方面优于传统的L曲线或启发式规则？
• RQ3 面积规则——即选择使Q曲线上多边形面积最大的局部极小值——是否能产生更准确且更稳定的正则化参数？
• RQ4 能否使用后验误差估计来验证启发式选择参数的可靠性，尤其是在真实噪声水平未知的情况下？
• RQ5 当已知精确噪声水平时，所提出的Q曲线和面积规则与既有的残差原则和单调误差规则相比性能如何？

主要发现

• 在ψ_Q(α)的局部极小值集合L_min中，至少存在一个伪最优解，即其误差在最小可能误差的常数倍之内。
• 在广泛测试问题集上的数值实验中，Q曲线上的面积规则显著优于以往的启发式规则。
• 当使用精确噪声水平时，所提规则的性能与残差原则和单调误差规则相当。
• 在Set 1的73%的案例中，满足条件b ≤ 2且T1(α_H) ≤ 9，表明参数选择可靠；在61%的案例中，T1(α_H) ≤ 4。
• 该方法具有鲁棒性：即使广义最优性准则失效，Q曲线上的面积规则仍能识别出可靠的参数。
• 后验误差估计(20)可验证启发式参数的可靠性，且在Set 1的97%案例中满足T1(α_H) ≤ 9，支持对参数可靠性的信心。