[论文解读] Neighborhoods as Nuisance Parameters? Robustness vs. Semiparametrics

Helmut Rieder|arXiv (Cornell University)|Dec 4, 2014

Advanced Statistical Methods and Models参考文献 18被引用 3

一句话总结

本文研究了在将模型偏差建模为无穷维异质参数的情况下，半参数方法——特别是将得分投影到切线空间上——是否能产生最优鲁棒估计量。结果表明，虽然在Hellinger邻域下，半参数影响曲线与最优鲁棒影响曲线一致，但在总变差和污染邻域下，这些方法表现不足，出现截断效应，但并未完全实现极小极大均方误差最优性。

ABSTRACT

Deviations from the center within a robust neighborhood of a parametric model distribution may naturally be considered an infinite dimensional nuisance parameter. Thus, the semiparametric method may be tried, which is to compute the scores function for the main parameter minus its orthogonal projection on the closed linear tangent space for the nuisance parameter, and then rescale for Fisher consistency. In this paper, we derive such a semiparametric influence curve by nonlinear projection on the tangent balls arising in robust statistics. This semiparametric influence curve is then compared with the optimally robust influence curve that minimizes maximum weighted mean square error of the corresponding asymptotically linear estimators over infinitesimal neighborhoods. For Hellinger balls, the two coincide (with the classical one). In the total variation model, the semiparametric IC solves the robust MSE problem for a particular bias weight. In the case of contamination neighborhoods, the semiparametric IC is bounded only from above. Due to an interchange of truncation and linear combination, the discrepancy increases with the dimension. While there is coincidence for Hellinger balls, at least clipping is achieved for total variation and contamination neighborhoods, but the semiparametric method in general falls short to solve the minimax MSE estimation problem for the gross error models. The semiparametric approach is carried further to testing contaminated hypotheses. In the one-sided case, for testing hypotheses defined by any two closed convex sets of tangents, a saddle point is furnished by projection on the set of differences of these sets. For total variation and contamination neighborhoods, we thus recover the robust asymptotic tests based on least favorable pairs. So the two approaches agree in the testing context.

研究动机与目标

• 探讨半参数方法是否可应用于鲁棒邻域模型，其中模型偏差作为无穷维异质参数发挥作用。
• 评估半参数方法——即将得分投影到切线空间上——是否能产生在最小化最大加权均方误差意义下最优的估计量。
• 研究在不同类型的邻域模型（Hellinger、总变差、污染）下，半参数影响曲线与最优鲁棒影响曲线之间的关系。
• 将半参数框架扩展至鲁棒检验，特别是针对受污染模型下的单边假设检验。
• 确定半参数方法是否能恢复基于最不利配对的已知鲁棒渐近检验，适用于总变差和污染邻域。

提出的方法

• 通过在鲁棒统计中出现的切线球上对得分函数进行非线性投影，而非在直线切线空间上，推导出半参数影响曲线。
• 应用标准半参数方法：计算主参数的得分函数，减去其在异质参数闭线性切线空间上的正交投影，并进行重新标度以保证Fisher一致性。
• 考虑异质切线集并非线性空间的情况，导致直接对闭球（如Hellinger、总变差、污染球）进行非线性投影。
• 利用Cramér–Rao界和渐近极小极大理论，将半参数影响曲线的性能与最小化最大加权均方误差的最优鲁棒影响曲线进行比较。
• 通过将投影作用于两组闭凸切线锥的差集上，构造鞍点，将该方法应用于假设检验。
• 证明在总变差和污染邻域下，所得的半参数影响曲线是得分函数的截断版本，与Hampel–Krasker影响曲线相似。

实验结果

研究问题

• RQ1 基于切线空间投影的半参数方法能否为邻域模型产生最优鲁棒影响曲线？
• RQ2 在何种条件下，半参数影响曲线与最小化最大加权均方误差的最优鲁棒影响曲线一致？
• RQ3 半参数方法是否能恢复基于最不利配对的已知鲁棒渐近检验，适用于污染和总变差邻域？
• RQ4 当异质切线集不是线性空间，而是闭球时，半参数影响曲线会发生什么变化？
• RQ5 半参数方法是否足以解决大误差模型中的极小极大均方误差估计问题？

主要发现

• 在Hellinger邻域下，通过非线性投影导出的半参数影响曲线与经典最优影响曲线完全一致。
• 在总变差和污染邻域下，半参数影响曲线是得分函数的截断版本，捕捉了最优鲁棒影响曲线的关键特征。
• 尽管存在截断，半参数方法在大误差模型中仍未完全实现极小极大均方误差最优性，表明存在根本性局限。
• 半参数方法成功恢复了基于最不利配对的鲁棒渐近检验，适用于总变差和污染邻域，尤其通过投影到切线锥差集上实现。
• 通过在切线球上进行非线性投影得到的影响曲线满足Fisher一致性，且为渐近线性，确保在正则条件下可进行有效推断。
• 在污染和总变差邻域下，最不利切线对的唯一性表明，任意两个最不利概率对之间的极限Hellinger距离随样本量增加趋于零。