[论文解读] Robust Inference Under Heteroskedasticity via the Hadamard Estimator

Edgar Dobriban, Weijie Su+2 more|arXiv (Cornell University)|Jul 1, 2018

Random Matrices and Applications参考文献 33被引用 5

一句话总结

本文提出Hadamard估计量作为异方差线性回归中White异方差稳健标准误的稳健替代方法，通过利用随机正交投影矩阵的平方项实现无偏方差估计。该方法引入一种新型自由度校正，在高维设置下可获得更精确的置信区间，并在温和条件下提供了良好定义性、一致性和渐近正态性的理论保证。

ABSTRACT

Drawing statistical inferences from large datasets in a model-robust way is an important problem in statistics and data science. In this paper, we propose methods that are robust to large and unequal noise in different observational units (i.e., heteroskedasticity) for statistical inference in linear regression. We leverage the Hadamard estimator, which is unbiased for the variances of ordinary least-squares regression. This is in contrast to the popular White's sandwich estimator, which can be substantially biased in high dimensions. We propose to estimate the signal strength, noise level, signal-to-noise ratio, and mean squared error via the Hadamard estimator. We develop a new degrees of freedom adjustment that gives more accurate confidence intervals than variants of White's sandwich estimator. Moreover, we provide conditions ensuring the estimator is well-defined, by studying a new random matrix ensemble in which the entries of a random orthogonal projection matrix are squared. We also show approximate normality, using the second-order Poincare inequality. Our work provides improved statistical theory and methods for linear regression in high dimensions.

研究动机与目标

• 为解决高维异方差线性回归中经典估计量（如White异方差稳健标准误）存在显著偏差的持续挑战，特别是在异方差条件下导致推断偏差的问题。
• 开发一种模型鲁棒的推断框架，能够适应观测单位间未知且不等的噪声水平。
• 为Hadamard估计量建立理论基础，包括其在高维设置下的良好定义性、一致性和渐近正态性。
• 提出一种新型自由度校正，以提升置信区间覆盖准确度，相比现有异方差稳健标准误变体具有优势。
• 拓展涉及正交投影矩阵平方项的随机矩阵系综的统计理论，以实现对估计量性质的严格分析。

提出的方法

• Hadamard估计量被定义为设计矩阵投影矩阵的矩阵积的对角线元素，为OLS回归中的误差方差提供无偏估计。
• 该方法利用一种新型随机矩阵系综，其中随机正交投影矩阵的元素被平方，从而能够分析估计量的矩和良好定义性。
• 推导出一种新型自由度校正以调整标准误，提升在异方差条件下的置信区间精度。
• 理论分析采用二阶Poincaré不等式，证明在高维渐近下Hadamard估计量的渐近正态性。
• 利用Hadamard估计量估计信号强度、噪声水平、信噪比和均方误差，实现对异方差条件下全面的推断。
• 通过在不同样本大小和样本维度比下的模拟实验，验证了有限样本性能，比较了第一类错误率和检验统计量的正态性。

实验结果

研究问题

• RQ1 在高维异方差线性模型中，Hadamard估计量是否能提供无偏的方差估计，而经典估计量（如White估计量）存在偏差？
• RQ2 在高维设置下，Hadamard估计量的良好定义性和稳定性由何种条件保证？
• RQ3 与现有异方差稳健标准误变体相比，所提出的自由度校正在多大程度上提升了置信区间的覆盖准确度？
• RQ4 在高维渐近下，Hadamard估计量在多大程度上表现出渐近正态性？该性质能否被严格证明？
• RQ5 Hadamard估计量能否推广至更复杂的模型，如聚类误差结构或自相关误差结构，或推广至 $ n < p $ 的高维情形？

主要发现

• Hadamard估计量在OLS回归中对误差方差具有无偏性，相较于高维下存在偏差的White异方差稳健标准误，具有根本性优势。
• 所提出的自由度校正显著提升了置信区间的准确性，在有限样本中相比标准异方差稳健标准误显著降低了第一类错误率。
• 理论分析证实，在设计矩阵满足温和条件时，Hadamard估计量是良好定义的，其存在性通过一种新型随机矩阵系综（涉及投影矩阵元素的平方）得以建立。
• 利用二阶Poincaré不等式，证明了Hadamard估计量在高维渐近下的渐近正态性，支持其在高维渐近下的有效推断。
• 模拟结果表明，Hadamard估计量的z统计量与标准正态分布高度吻合，其拟合优度优于某些情形下的卡方近似。
• 该方法可实现对信噪比、噪声水平和均方误差的可靠估计，从而在异方差条件下支持全面的统计推断。