[论文解读] On Combining Estimation Problems Under Quadratic Loss: A Generalization

Sévérien Nkurunziza|arXiv (Cornell University)|Sep 4, 2015

Statistical Methods and Inference参考文献 20被引用 3

一句话总结

该论文通过放宽关键假设，推广了Judge和Mittelhammer（2004）关于在二次损失下组合估计问题的结果：将Stein型估计量的占优性扩展至椭球分布，消除了对可逆方差-协方差矩阵的需求，并将风险占优所需的维度从k ≥ 5降低至k ≥ 3，且不受相关性影响。所提出的估计量类别包含Stein法则作为特例，并通过模拟研究和对香烟数据集的应用得到验证。

ABSTRACT

The main theorem in Judge and Mittelhammer [Judge, G. G., and Mittelhammer, R. (2004), A Semiparametric Basis for Combining Estimation Problems under Quadratic Loss; JASA, 99, 466, 479--487] stipulates that, in the context of nonzero correlation, a sufficient condition for the Stein rule (SR)-type estimator to dominate the base estimator is that the dimension $k$ should be at least 5. Thanks to some refined inequalities, this dominance result is proved in its full generality; for a class of estimators which includes the SR estimator as a special case. Namely, we prove that, for any member of the derived class, $k\geqslant 3$ is a sufficient condition regardless of the correlation factor. We also relax the Gaussian condition of the distribution of the base estimator, as we consider the family of elliptically contoured variates. Finally, we waive the condition on the invertibility of the variance-covariance matrix of the base and the competing estimators. Our theoretical findings are corroborated by some simulation studies, and the proposed method is applied to the Cigarette dataset.

研究动机与目标

• 将Judge和Mittelhammer（2004）关于在二次损失下组合估计量的结果推广至更广泛的分布假设。
• 消除对估计量方差-协方差矩阵可逆性的严格要求。
• 将风险占优所需的最小维度k从5降低至3，且不受相关性影响。
• 将框架扩展至椭球分布，扩大其在正态性之外的应用范围。
• 为回归模型中结合样本信息与不确定先验信息提供一种半参数方法。

提出的方法

• 提出一类广义估计量，其中包含Stein法则型估计量作为特例。
• 利用改进的矩阵不等式推导在二次损失下的风险占优条件。
• 依赖椭球分布的性质，将结果推广至正态分布之外的情形。
• 对基础估计量与约束估计量的联合分布进行变换，以分析风险占优。
• 运用柯西-施瓦茨不等式与詹森不等式，对涉及收缩函数期望的表达式进行上界估计。
• 通过模拟研究和对香烟数据集的实际应用验证理论结果。

实验结果

研究问题

• RQ1 在一般依赖结构下，Stein型估计量的风险占优的充分条件能否从k ≥ 5降低至k ≥ 3？
• RQ2 当误差分布为椭球分布而非正态分布时，风险占优结果是否仍然成立？
• RQ3 在风险占优证明中，能否取消对估计量方差-协方差矩阵可逆性的假设？
• RQ4 所提出的估计量类别是否对先验信息的不确定性具有鲁棒性，并适用于低维回归模型？
• RQ5 与现有方法相比，该方法在真实数据上的实际表现如何？

主要发现

• 所提出估计量类别的风险占优充分条件为k ≥ 3，且不受相关性影响，优于Judge和Mittelhammer（2004）中的k ≥ 5条件。
• 风险占优结果在椭球分布下依然成立，扩展了其在正态分布之外的应用范围。
• 对估计量方差-协方差矩阵的可逆性假设不再需要，使得该方法可应用于存在系数线性约束的情形。
• 通过改进的矩阵不等式和二次型的矩界，建立了理论上的风险占优性。
• 模拟研究证实了在各种相关性和维度设置下，所提出估计量的风险性能得到改善。
• 对仅含三个自变量的香烟数据集的应用，展示了该方法在传统方法失效时的实际应用价值。