[论文解读] Penalized Weighted Least Squares for Outlier Detection and Robust Regression

Xiaoli Gao, Yixin Fang|arXiv (Cornell University)|Mar 24, 2016

Advanced Statistical Methods and Models参考文献 32被引用 15

一句话总结

该论文提出了一种新的惩罚加权最小二乘法（PWLS），通过为每个观测值分配独立权重，并对对数变换后的权重施加类似Lasso的惩罚，实现同时进行异常值检测与鲁棒回归。该方法有效缓解了掩盖效应和淹没效应，具有高度稳定性，并提供了用于调参选择的异常值概率路径，在模拟数据和真实数据集上均优于传统方法。

ABSTRACT

To conduct regression analysis for data contaminated with outliers, many approaches have been proposed for simultaneous outlier detection and robust regression, so is the approach proposed in this manuscript. This new approach is called "penalized weighted least squares" (PWLS). By assigning each observation an individual weight and incorporating a lasso-type penalty on the log-transformation of the weight vector, the PWLS is able to perform outlier detection and robust regression simultaneously. A Bayesian point-of-view of the PWLS is provided, and it is showed that the PWLS can be seen as an example of M-estimation. Two methods are developed for selecting the tuning parameter in the PWLS. The performance of the PWLS is demonstrated via simulations and real applications.

研究动机与目标

• 为解决传统异常值检测与鲁棒回归方法在存在多个异常值时的局限性，特别是掩盖效应与淹没效应问题。
• 开发一种统一框架，实现异常值检测与鲁棒回归的同步进行，提升模型的稳定性和准确性。
• 提出一种基于BIC和一种新颖的随机加权程序（用于估计异常值概率）的系统性调参选择方法。
• 通过模拟实验与真实世界应用，证明该方法的有效性，显示其在性能上优于现有的M-估计与鲁棒回归技术。

提出的方法

• 该方法为每个观测值分配独立权重，并对对数变换后的权重向量施加类似Lasso的惩罚，以将极端权重收缩至零，从而有效降低异常值的权重。
• 将目标函数表述为惩罚加权最小二乘准则，其中惩罚项促使权重向量呈现稀疏性，从而将低权重的观测识别为异常值。
• 该方法被证明等价于在特定损失函数下的伴随M-估计，将其与成熟的鲁棒回归理论相联系。
• 提供了贝叶斯解释，将该方法视为在层次先验结构下的后验众数估计。
• 提出了两种调参选择方法：BIC与一种随机加权程序，后者可估计在一系列λ值下每个观测值为异常值的概率。
• 通过方差函数线性模型（VFLM）将该方法扩展至异方差模型，实现对异方差性的灵活建模，同时保持鲁棒性。

实验结果

研究问题

• RQ1 是否存在一个统一框架，能够比现有方法更有效地同时实现异常值检测与鲁棒回归？
• RQ2 所提出的惩罚加权最小二乘法如何缓解传统异常值检测中常见的掩盖与淹没效应？
• RQ3 调参选择对异常值检测与回归估计性能有何影响？
• RQ4 随机加权程序能否提供可靠且可解释的异常值概率路径，以辅助调参选择与模型诊断？
• RQ5 在含污染的真实世界与模拟数据集中，该方法与现有成熟鲁棒回归技术相比表现如何？

主要发现

• PWLS方法成功缓解了掩盖与淹没效应，如在Hawkins-Bradu-Kass（HBK）数据集上的表现所示，所有10个真实异常值均被正确识别，且权重较低。
• PWLS生成的权重路径清晰地区分了异常值（虚线）与非异常值（实线），在最优调参下，非异常值的权重恰好保持为1。
• 随机加权程序提供了有意义的异常值概率路径，支持对调参性能的可视化评估，提升了方法的可解释性。
• 模拟结果表明，PWLS在系数估计方面表现出更高的稳定性与更低的均方误差，优于传统M-估计器与最小截断平方和方法。
• 在真实数据集中，该方法在预测精度与异常值检测可靠性方面始终优于或至少与现有鲁棒回归技术持平。
• 理论分析证实，PWLS在特定损失函数下等价于伴随M-估计，从统计估计角度验证了其鲁棒性。