[论文解读] The Conspiracy of Random Predictors and Model Violations against Classical Inference in Regression

Andreas Buja, Richard A. Berk+6 more|arXiv (Cornell University)|Apr 6, 2014

Statistical Methods and Inference参考文献 30被引用 8

一句话总结

本文重新評估了Halbert White的線性回歸穩健推斷框架，表明『異方差一致標準誤差』（sandwich estimator）在模型誤設與隨機預測變數的情境下依然有效——這兩種條件共同構成了一種『陰謀』，從而破壞了傳統推斷的基礎。本文證明，sandwich estimator 優於通常過於寬鬆的傳統標準誤差，並確立了成對自助法（pairs bootstrap）作為另一種有效的替代方法，從而挑戰了模型正確與預測變數固定這兩項傳統假設。

ABSTRACT

We review the early insights of Halbert White who over thirty years ago inaugurated a form of statistical inference for regression models that is asymptotically correct even under “model misspecification. ” This form of inference, which is pervasive in econometrics, relies on the “sandwich estimator ” or “heteroskedasticity-consistent estimator ” of standard error. Whereas common practice in statistics assumes models to be correct and inference to be conditional on the predictors, White permits models to be “incorrect ” and predictors to be random. Careful reading of his theory shows that it is in fact a synergistic effect — a “conspiracy ” — of model misspecification and randomness of the predictors that has the deepest consequences for statistical inference. In this review we limit ourselves to linear least squares regression as the demonstration object, but the qualitative insights hold for all forms of regression. We will see that the term “heteroskedasticity-consistent estimator ” is misleading because nonlinearity is a more consequential form of model deviation than heteroskedasticity, and both forms are handled asymptotically correctly by the sandwich estimator. The same analysis shows that a valid alternative to the sandwich estimator is provided by the “pairs bootstrap. ” We continue with a novel asymptotic comparison of the sandwich estimator and the standard error estimator from classical linear models theory. The comparison shows that when standard errors from linear models theory deviate from their sandwich analogs, they are usually too liberal, but occasionally they can be too conservative as well. We conclude by answering questions that would occur to statisticians acculturated to the assumption of model correctness and conditionality on the predictors: (1) Why should we be interested in inference for models that are not correct? (2) What are the arguments for conditioning on predictors, and why might they not be valid?

研究动机与目标

• 在模型誤設與隨機預測變數的背景下，重新表達並澄清White異方差一致標準誤差估計器的理論基礎。
• 挑戰傳統假設——即回歸模型必須正確指定且預測變數為固定值——主張穩健推斷應具有更廣泛的適用性。
• 在漸近條件下比較sandwich estimator與傳統標準誤差，揭示後者存在系統性偏差。
• 評估在模型違反條件下，成對自助法是否可作為sandwich estimator的合理替代方法。
• 從穩健推斷的視角，回答關於模型正確性與條件化於固定預測變數的基礎性問題。

提出的方法

• 應用漸近理論於模型誤設與隨機預測變數下的線性最小二乘回歸，擴展White原始框架。
• 以sandwich estimator（異方差一致標準誤差估計器）作為模型違反時穩健推斷的主要方法。
• 進行傳統標準誤差（來自線性模型理論）與sandwich標準誤差之間的漸近比較，以評估偏差。
• 採用成對自助法作為另一種穩健推斷方法，並證明其在與sandwich estimator相同條件下的有效性。
• 分析模型誤設與隨機預測變數對統計推斷有效性產生的協同影響。
• 援引White原始洞察，重新詮釋sandwich estimator的角色，超越異方差情境，強調非線性才是更關鍵的模型偏離形式。

实验结果

研究问题

• RQ1 當模型誤設且預測變數為隨機時，傳統推斷為何失敗？穩健推斷方法如何解決此問題？
• RQ2 sandwich estimator 如何在模型誤設與隨機預測變數下保持有效性？其理論基礎為何？
• RQ3 與sandwich estimator相比，來自線性模型理論的傳統標準誤差在哪些方面存在系統性偏差？
• RQ4 在模型違反與隨機預測變數下，成對自助法是否可作為sandwich estimator的有效替代？
• RQ5 在哲學與統計層面，有哪些論據支持放棄模型正確性與條件化於固定預測變數的假設？

主要发现

• sandwich estimator 即使在模型非線性誤設（不僅僅是異方差）的情境下，仍具漸近有效性，挑戰了其僅適用於異方差的觀點。
• 模型誤設與隨機預測變數之間存在協同效應——即『陰謀』——其對傳統推斷的破壞程度遠甚於單獨任一因素。
• 與sandwich standard errors相比，傳統標準誤差通常過於寬鬆，儘管偶爾也可能過於保守。
• 成對自助法在模型違反與隨機預測變數下提供了sandwich estimator的合理替代方案，提供了一種非漸近的處理方式。
• 模型正確性與條件化於固定預測變數的假設並非普遍成立，實務中可能導致無效推斷。
• 本文為從傳統推斷轉向回歸分析中的穩健方法提供了理論依據。