[论文解读] Overcoming the inconsistences of the variance inflation factor: a redefined VIF and a test to detect statistical troubling multicollinearity

Román Salmerón Gómez, Catalina Beatriz García García+1 more|arXiv (Cornell University)|May 5, 2020

Advanced Statistical Methods and Models被引用 19

一句话总结

本文提出了一种重新定义的方差膨胀因子（TVIF），该因子考虑了样本量、误差方差和变量标准化，提供了一种统计上合理的检验方法，用于检测实际干扰OLS推断的多重共线性。与传统的VIF不同，TVIF包含了截距项，并使用重新定义的正交参考模型，从而能够基于阈值进行统计检验，以判断多重共线性是否在经验上具有破坏性，而不仅仅是数学上存在。

ABSTRACT

Multicollinearity is relevant to many different fields where linear regression models are applied, and its existence may affect the analysis of ordinary least squares (OLS) estimators from both the numerical and statistical points of views. Thus, multicollinearity can lead to incoherence in the statistical significance of the independent variables and the global significance of the model. The variance inflation factor (VIF) is traditionally applied to diagnose the possible existence of multicollinearity, but it is not always the case that detection by VIF of a troubling degree of multicollinearity corresponds to negative effects on the statistical analysis. The reason for the lack of specificity of VIF is that there are other factors, such as the size of the sample and the variance of the random disturbance, that can lead to high values of the VIF but not to problematic variance in the OLS estimators (see O'Brien 2007). This paper presents a new variance inflation factor (TVIF) that consider all these additional factors. Thresholds for this new measure and from the index provided by Stewart (1987) are also provided. These thresholds are reinterpreted and presented as a new statistical test to diagnose the existence of statistical troubling multicollinearity. The contributions of this paper are illustrated with two real data examples previously applied in the scientific literature.

研究动机与目标

• 解决传统VIF在识别实际损害统计推断的多重共线性方面的一致性问题。
• 解决高VIF值并不一定导致OLS方差膨胀的问题，原因在于样本量和误差方差等混杂因素的影响。
• 开发一种新的统计检验方法，以确定检测到的多重共线性是否对系数显著性检验产生真实且破坏性的影响。
• 通过QR分解重新定义VIF的参考点，构建更现实的正交模型，从而提高该度量的特异性。
• 为TVIF和Stewart指数提供可解释的阈值，以指示多重共线性是否在统计上具有破坏性，而不仅仅是数值上偏高。

提出的方法

• 通过设计矩阵的QR分解重新定义VIF，生成一种新的、更合适的正交参考模型，取代传统方法中忽略截距项并假设误差方差固定的正交化方式。
• 将新度量TVIF(i)定义为每个自变量对其他自变量进行辅助回归后残差平方和的倒数，并将截距项纳入分析。
• 基于t分布的临界值、假设的系数值和系数估计方差，建立统计检验的临界阈值，公式为：TVIF(i) > [t(n−k, 1−α/2) / β̂_i,o]² × var(β̂_i)。
• 将Stewart指数(S²_i)重新解释为TVIF和每个预测变量平方和的函数，从而能够检测涉及截距项的非必要多重共线性。
• 为TVIF和Stewart指数提供新的阈值，这些阈值依赖于样本量、误差方差和系数估计值，确保其反映实际的统计干扰。
• 制定正式的统计检验，以判断多重共线性是否‘具有破坏性’，即是否导致错误推断，方法是将观测值与推导出的临界阈值进行比较。

实验结果

研究问题

• RQ1 传统VIF能否可靠检测出实际干扰OLS回归模型统计推断的多重共线性？
• RQ2 能否构建一种重新定义的VIF（TVIF），使其考虑样本量、误差方差和变量标准化，从而提高诊断的特异性？
• RQ3 是否可以开发一种统计检验，以区分数值上偏高的多重共线性与实际影响系数显著性检验的多重共线性？
• RQ4 在多重共线性检测中包含截距项如何改善对模型可靠性的评估？
• RQ5 TVIF和Stewart指数的新阈值是否比传统的VIF > 10规则提供了更准确且具有实际意义的判断标准？

主要发现

• 传统VIF由于样本量和误差方差等混杂因素的影响，无法区分实际导致OLS方差膨胀的多重共线性和未导致方差膨胀的多重共线性。
• 所提出的TVIF通过QR分解重新定义了正交参考模型，从而得到一个反映实际模型条件下真实方差膨胀下限的基准。
• TVIF值来源于辅助回归中残差平方和的倒数，与系数检验的统计功效直接相关。
• 新统计检验使用t分布的临界值和系数估计值，以判断多重共线性是否在统计上具有破坏性，其临界阈值依赖于样本量和效应大小。
• Stewart指数(S²_i)被重新解释为检测涉及截距项的非必要多重共线性的有效度量，其阈值现在与统计显著性相关联。
• 本文为TVIF和Stewart指数提供了基于实证的阈值，可指示多重共线性是否可能导致错误推断，从而解决了计量经济学诊断中长期存在的空白。