[论文解读] The regularized tau estimator: A robust and efficient solution to ill-posed linear inverse problems

Marta Martinez-Camara, Michael Muma+3 more|TUbilio (Technical University of Darmstadt)|May 23, 2016

Sparse and Compressive Sensing Techniques参考文献 12被引用 3

一句话总结

本文提出了一种正则化τ估计器，这是一种针对病态线性反问题的鲁棒且高效的解决方案，结合了τ估计器对误差分布的自适应性与Ø₁和Ø₂正则化，以确保稳定性与稀疏性。该方法在高斯噪声下实现近乎最优的性能，同时对异常值保持高度鲁棒性，即使在病态条件问题中亦然，这得益于一种新颖的非凸优化框架，以及两种可快速收敛至局部极小值的算法。

ABSTRACT

Linear inverse problems are ubiquitous. Often the measurements do not follow a Gaussian distribution. Additionally, a model matrix with a large condition number can complicate the problem further by making it ill-posed. In this case, the performance of popular estimators may deteriorate significantly. We have developed a new estimator that is both nearly optimal in the presence of Gaussian errors while being also robust against outliers. Furthermore, it obtains meaningful estimates when the problem is ill-posed through the inclusion of $\ell_1$ and $\ell_2$ regularizations. The computation of our estimate involves minimizing a non-convex objective function. Hence, we are not guaranteed to find the global minimum in a reasonable amount of time. Thus, we propose two algorithms that converge to a good local minimum in a reasonable (and adjustable) amount of time, as an approximation of the global minimum. We also analyze how the introduction of the regularization term affects the statistical properties of our estimator. We confirm high robustness against outliers and asymptotic efficiency for Gaussian distributions by deriving measures of robustness such as the influence function, sensitivity curve, bias, asymptotic variance, and mean square error. We verify the theoretical results using numerical experiments and show that the proposed estimator outperforms recently proposed methods, especially for increasing amounts of outlier contamination. Python code for all of the algorithms are available online in the spirit of reproducible research.

研究动机与目标

• 解决传统最小二乘法和鲁棒估计器在非高斯噪声和高条件数矩阵的病态线性反问题中的局限性。
• 开发一种正则化估计器，在高斯误差下保持高效率，同时对异常值具有鲁棒性。
• 通过联合使用Ø₁和Ø₂正则化，确保病态问题中的稀疏性与稳定性。
• 设计计算高效的算法，使其在可调节时间内收敛至非凸目标函数的良好局部极小值。
• 理论上分析估计器在各种误差分布下的影响函数、偏差、渐近方差和均方误差。

提出的方法

• 提出一种正则化τ估计器，通过最小化结合τ估计损失与Ø₁和Ø₂正则化的非凸目标函数。
• 使用类似软阈值的函数$J_K(x) = x \tanh(Kx)$来近似Ø₁范数，当$K \to \infty$时实现平滑正则化。
• 通过目标函数的二阶导数推导影响函数与渐近性质，特别分析估计值处的黑塞矩阵。
• 提出两种算法以近似非凸目标函数的全局最小值，确保在用户定义的时间范围内收敛。
• 采用分块矩阵求逆技术分析影响函数的渐近行为，特别是在$K \to \infty$的极限下，表明其收敛至稀疏解。
• 通过在含异常值污染增加和病态矩阵的合成数据上的数值实验验证理论结果。

实验结果

研究问题

• RQ1 Ø₁和Ø₂正则化在病态反问题中对τ估计器的鲁棒性与效率有何影响？
• RQ2 正则化τ估计器的影响函数是什么？其在异常值污染下的行为如何？
• RQ3 在高斯分布与重尾误差分布下，该估计器的渐近方差与均方误差如何与LS及其他鲁棒估计器比较？
• RQ4 能否设计出高效算法，在合理且可调节的时间内收敛至非凸目标函数的良好局部极小值？
• RQ5 在异常值污染程度不断增加的情况下，正则化τ估计器相较于近期提出的鲁棒正则化估计器的性能优势有多大？

主要发现

• 在高斯误差下，正则化τ估计器实现了接近最小二乘估计器的渐近效率，且在异常值污染下均方误差显著更低。
• 影响函数分析证实了估计器的鲁棒性，即使在数据出现大偏差时也表现出有界影响。
• 在高斯噪声下，估计器的渐近方差接近Cramér-Rao下界，表明其具有近乎最优的效率。
• 数值实验表明，该估计器在性能上优于现有鲁棒正则化估计器，尤其在异常值污染增加时表现更优。
• 所提出的算法在用户定义的时间内收敛至高质量的局部极小值，尽管目标函数为非凸，仍可实现实际部署。
• 在$K \to \infty$的极限下，正则化目标函数的黑塞矩阵收敛至块对角结构，有利于稀疏解，从而验证了Ø₁正则化的理论作用。