[论文解读] Robust Estimation under Heavy Contamination using Enlarged Models

Takafumi Kanamori, Hironori Fujisawa|arXiv (Cornell University)|Nov 21, 2013

Advanced Statistical Methods and Models参考文献 16被引用 5

一句话总结

本文提出了一种使用评分规则和扩展模型的稳健估计框架，以在重尾或异常值污染的数据中同时估计模型参数和污染比例。通过将统计模型扩展以包含污染比例，该方法能够实现异常值检测，并在异质污染下保持低偏差，数值实验表明其优于传统估计器。

ABSTRACT

In data analysis, contamination caused by outliers is inevitable, and robust statistical methods are strongly demanded. In this paper, our concern is to develop a new approach for robust data analysis based on scoring rules. The scoring rule is a discrepancy measure to assess the quality of probabilistic forecasts. We propose a simple way of estimating not only the parameter in the statistical model but also the contamination ratio of outliers. Estimating the contamination ratio is important, since one can detect outliers out of the training samples based on the estimated contamination ratio. For this purpose, we use scoring rules with an extended statistical models, that is called the enlarged models. Also, the regression problems are considered. We study a complex heterogeneous contamination, in which the contamination ratio of outliers in the dependent variable may depend on the independent variable. We propose a simple method to obtain a robust regression estimator under heterogeneous contamination. In addition, we show that our method provides also an estimator of the expected contamination ratio that is available to detect the outliers out of training samples. Numerical experiments demonstrate the effectiveness of our methods compared to the conventional estimators.

研究动机与目标

• 解决由于测量或记录错误导致数据中存在异常值时的稳健统计推断挑战。
• 开发一种统一的方法，同时估计模型参数和污染比例。
• 通过基于估计的污染比例识别密度值较低的样本，实现异常值检测。
• 处理污染率随协变量变化（异质污染）的复杂污染情景。
• 为使用评分规则和扩展模型的稳健估计提供理论基础明确、渐近有效的框架。

提出的方法

• 使用定义在非负函数（而不仅仅是概率密度）上的评分规则来构建稳健估计器。
• 引入包含原始统计模型和污染分量的扩展模型，以实现参数和污染比例的联合估计。
• 应用霍尔德评分（一种评分规则）推导出对严重污染具有鲁棒性的估计器。
• 通过求解平衡模型拟合与污染分量加权拟合的估计方程来估计污染比例。
• 利用渐近理论推导估计器的极限分布，证明在复杂污染下的一致性和低偏差。
• 在回归中，将方法扩展以处理污染率依赖于协变量的异方差污染情形。

实验结果

研究问题

• RQ1 是否存在一种单一估计框架，能够在严重污染下同时估计模型参数和污染比例？
• RQ2 如何基于训练数据中估计的污染比例系统性地执行异常值检测？
• RQ3 在污染率随协变量变化的异质污染下，所提估计器的渐近行为如何？
• RQ4 当输入和输出变量均被污染时，该方法是否仍保持低偏差和高效率？
• RQ5 与传统稳健估计器相比，该方法在估计精度和异常值检测性能方面表现如何？

主要发现

• 所提出的估计器在复杂异质污染下仍保持渐近一致性和低偏差，其中污染率依赖于协变量。
• 该方法成功估计了污染比例，通过按估计密度值对样本进行排序，实现了异常值的系统性识别。
• 数值实验表明，与传统估计器相比，该方法在严重污染下的估计精度和稳健性均更优。
• 估计器的渐近方差-协方差矩阵表现良好，收敛至一个明确定义的极限，且偏差项阶数为 $O(\bar{\varepsilon}^{1/2})$。
• 即使自变量和因变量均被严重污染，估计器仍保持良好性能，显示出强大的实际稳健性。
• 该方法提供了一个统一框架，通过评分规则在一个优化过程中同时完成参数估计和异常值检测。