[论文解读] Robustness of Maximum Correntropy Estimation Against Large Outliers

Badong Chen, Lei Xing+3 more|arXiv (Cornell University)|Mar 23, 2017

Advanced Adaptive Filtering Techniques参考文献 11被引用 6

一句话总结

本文分析了在存在任意大异常值的线性 errors-in-variables (EIV) 模型中，最大核相关准则（MCC）估计的鲁棒性。推导了估计误差的上界，表明即使在输入和输出均存在严重异常值的情况下，MCC 估计值仍与真实参数非常接近，其性能优于 MSE、LAD 和 TLS 方法，涵盖标量和多维情形。

ABSTRACT

The maximum correntropy criterion (MCC) has recently been successfully applied in robust regression, classification and adaptive filtering, where the correntropy is maximized instead of minimizing the well-known mean square error (MSE) to improve the robustness with respect to outliers (or impulsive noises). Considerable efforts have been devoted to develop various robust adaptive algorithms under MCC, but so far little insight has been gained as to how the optimal solution will be affected by outliers. In this work, we study this problem in the context of parameter estimation for a simple linear errors-in-variables (EIV) model where all variables are scalar. Under certain conditions, we derive an upper bound on the absolute value of the estimation error and show that the optimal solution under MCC can be very close to the true value of the unknown parameter even with outliers (whose values can be arbitrarily large) in both input and output variables. Illustrative examples are presented to verify and clarify the theory.

研究动机与目标

• 理解大异常值对最大核相关准则（MCC）下最优解的影响。
• 分析在输入和输出均存在噪声的简单标量线性 errors-in-variables (EIV) 模型中 MCC 的鲁棒性。
• 推导 MCC 下绝对估计误差的上界，确保即使在异常值幅度任意大的情况下，估计值仍与真实参数保持接近。
• 通过示例和蒙特卡洛仿真验证理论结果。
• 将洞察扩展至多维动态系统，提示 MCC 在复杂场景中的潜在鲁棒性。

提出的方法

• 构建一个标量线性 EIV 模型，其中输入和输出均受噪声污染，目标是估计真实参数 $ w_0 $。
• 通过最大化期望核相关 $ \mathbb{E}[\exp(-e^2/(2\sigma^2))] $ 应用最大核相关准则（MCC），其中 $ e = d - y $ 为误差。
• 推导绝对估计误差 $ |w_{MCC} - w_0| $ 的上界 $ \xi $，其依赖于噪声特性及核带宽 $ \sigma $。
• 基于对噪声分布的假设（如矩有界）以确保所推导误差界的有效性。
• 采用蒙特卡洛仿真，通过改变异常值幅度和发生概率，对比 MCC 与 MSE、LAD 和 TLS 估计器的性能。
• 将分析扩展至一个 9-tap FIR 系统，以检验 MCC 在多维动态场景下的鲁棒性。

实验结果

研究问题

• RQ1 当输入和输出变量中均存在任意幅度的异常值时，其对最大核相关准则（MCC）下最优解的影响如何？
• RQ2 在标量 EIV 模型中，MCC 下估计误差的理论可推导上界是什么？
• RQ3 在异常值幅度和发生概率变化时，MCC 性能与 MSE、LAD 和 TLS 的比较如何？
• RQ4 MCC 是否能在存在输入和输出异常值的多维动态系统中保持鲁棒性？
• RQ5 核带宽 $ \sigma $ 如何影响 MCC 估计中鲁棒性与精度之间的权衡？

主要发现

• 即使输入和输出异常值的幅度任意大，最优 MCC 估计值 $ w_{MCC} $ 仍保持在 $ w_0 \pm \xi $ 范围内。
• 估计误差 $ |w_{MCC} - w_0| $ 显著小于推导出的上界 $ \xi $，表明具有极强的鲁棒性。
• MSE、LAD 和 TLS 解对异常值高度敏感，通常会远超出 $ w_0 \pm \xi $ 区域。
• 当异常值概率 $ \alpha $ 较小时，MCC 保持近乎无偏，但当 $ \alpha $ 超过某一阈值后性能急剧下降。
• 随着核带宽 $ \sigma $ 增大，MCC 解趋近于 MSE 解，证实较小的 $ \sigma $ 能增强对大异常值的鲁棒性。
• 在多维 FIR 系统中，MCC 的平方权值误差范数显著小于 MSE、LAD 和 TLS，尤其在输入和输出存在异常值时表现更优。