[论文解读] Optimal Regularization Parameters for General-Form Tikhonov Regularization

Julianne Chung, Malena I. Español+1 more|arXiv (Cornell University)|Jul 8, 2014

Numerical methods in inverse problems参考文献 12被引用 8

一句话总结

本文提出一种基于学习的方法，利用训练数据计算通用形式和多参数Tikhonov正则化的最优正则化参数。通过广义奇异值分解（GSVD）将解表述为谱滤波问题，该方法最小化滤波解与真实数据之间的平均误差，在计算成本显著降低的情况下，实现与广义交叉验证（GCV）相当的性能，尤其在大规模图像重建任务中优势明显。

ABSTRACT

In this work we consider the problem of finding optimal regularization parameters for general-form Tikhonov regularization using training data. We formulate the general-form Tikhonov solution as a spectral filtered solution using the generalized singular value decomposition of the matrix of the forward model and a given regularization matrix. Then, we find the optimal regularization parameter by minimizing the average of the errors between the filtered solutions and the true data. We extend the approach to the multi-parameter Tikhonov problem for the case where all the matrices involved are simultaneously diagonalizable. For problems where this is not the case, we describe an approach to compute optimal or near-optimal regularization parameters by using operator approximations for the original problem. Several tests are performed for 1D and 2D examples using different norms on the errors, showing the effectiveness of this approach.

研究动机与目标

• 开发一种系统化方法，利用训练数据选择通用形式Tikhonov正则化中的最优正则化参数。
• 将学习方法扩展至当正则化矩阵可同时对角化时的多参数Tikhonov正则化。
• 为大规模图像重建问题提供一种计算高效的GCV替代方案。
• 评估所学参数在训练集之外多样化图像类型中的鲁棒性。
• 证明基于GSVD的滤波方法配合所学参数，相较于标准SVD滤波方法，在更少训练数据条件下表现更优。

提出的方法

• 通过前向模型与正则化矩阵的广义奇异值分解（GSVD），将通用形式Tikhonov解表述为谱滤波解。
• 将最优正则化参数定义为在训练样本上，滤波解与真实数据之间平均误差的最小化点。
• 通过假设所有正则化矩阵可同时对角化，将该方法扩展至多参数Tikhonov正则化，从而实现参数的解析计算。
• 对于无法同时对角化的场景，使用算子近似方法高效计算近似最优参数。
• 采用经验贝叶斯风险最小化，将参数选择问题建模为基于训练数据的学习问题。
• 应用多种误差范数（如L2、MSSIM）评估并优化正则化参数。

实验结果

研究问题

• RQ1 能否利用训练数据和谱滤波，高效计算通用形式Tikhonov的最优正则化参数？
• RQ2 在重建精度和数据效率方面，基于GSVD的滤波方法相较于标准SVD滤波方法表现如何？
• RQ3 一组从训练数据中学得的正则化参数是否能在包括分布外图像在内的多样化图像类型上保持有效性？
• RQ4 所提出的基于学习的方法在计算成本上与GCV相比如何，特别是在大规模图像重建任务中？
• RQ5 与GCV相比，使用所学参数的多参数正则化对重建质量有何影响？

主要发现

• 基于GSVD的滤波解在训练数据有限时，其重建精度优于最优SVD滤波解。
• 所提出的基于学习的方法生成的正则化参数，其重建误差与GCV方法相当，但对大规模图像集的计算成本显著降低。
• 从卫星图像中学得的最优参数可有效重建非卫星图像（如细胞、织物、航拍图、相机人像），其相对重建误差约为验证集中位误差的2倍。
• 图像相似性（通过SSIM和范数差异衡量）与重建质量之间存在正相关关系，但无严格对应关系。
• 通过近似算子与训练数据计算的正则化参数，其结果与GCV高度一致，如图12的直方图对比结果所证实。
• 使用所学参数的多参数Tikhonov正则化为每图像GCV提供了一种计算高效的替代方案，尤其适用于实时或高吞吐量应用。