[论文解读] Strong consistency of the AIC, BIC, $C_p$ and KOO methods in high-dimensional multivariate linear regression

Zhidong Bai, Yasunori Fujikoshi+1 more|arXiv (Cornell University)|Oct 30, 2018

Statistical Methods and Inference参考文献 41被引用 6

一句话总结

本文在高维多变量线性回归中建立了AIC、BIC、$C_p$和KOO方法强一致性的必要与充分条件。研究证明，在温和的高维条件下，BIC的强一致性蕴含AIC的强一致性，这与经典理解相悖；并提出了两种基于KOO的一般性方法，可在降低维度和样本量约束下实现强一致性，模拟结果表明其收敛速度更快。

ABSTRACT

Variable selection is essential for improving inference and interpretation in multivariate linear regression. Although a number of alternative regressor selection criteria have been suggested, the most prominent and widely used are the Akaike information criterion (AIC), Bayesian information criterion (BIC), Mallow's $C_p$, and their modifications. However, for high-dimensional data, experience has shown that the performance of these classical criteria is not always satisfactory. In the present article, we begin by presenting the necessary and sufficient conditions (NSC) for the strong consistency of the high-dimensional AIC, BIC, and $C_p$, based on which we can identify some reasons for their poor performance. Specifically, we show that under certain mild high-dimensional conditions, if the BIC is strongly consistent, then the AIC is strongly consistent, but not vice versa. This result contradicts the classical understanding. In addition, we consider some NSC for the strong consistency of the high-dimensional kick-one-out (KOO) methods introduced by Zhao et al. (1986) and Nishii et al. (1988). Furthermore, we propose two general methods based on the KOO methods and prove their strong consistency. The proposed general methods remove the penalties while simultaneously reducing the conditions for the dimensions and sizes of the regressors. A simulation study supports our consistency conclusions and shows that the convergence rates of the two proposed general KOO methods are much faster than those of the original methods.

研究动机与目标

• 在高维多变量线性回归中，建立AIC、BIC、$C_p$和KOO方法强一致性的必要与充分条件（NSC）。
• 识别经典准则（AIC、BIC、$C_p$）在预测变量与响应变量均为高维时表现欠佳的原因。
• 研究高维条件下BIC与AIC一致性之间的关系，挑战经典假设。
• 提出两种基于KOO的一般性方法，实现在更宽松的维度与样本量约束下实现强一致性。
• 通过模拟研究与真实数据分析验证理论发现，证明所提方法的收敛速度显著快于原始KOO方法。

提出的方法

• 基于随机矩阵理论框架下的渐近分析，推导高维多变量线性模型中AIC、BIC与$C_p$强一致性的必要与充分条件（NSC）。
• 应用进出交换公式与分块矩阵的逆，分析涉及投影矩阵与误差项的二次型的期望。
• 基于“剔除一个”原则，提出两种一般性KOO方法，不依赖显式惩罚项，同时保持强一致性。
• 利用特征值与迹函数的渐近行为，通过Stieltjes变换与谱分布理论，推导关键二次型的极限表达式。
• 证明在高维条件下，BIC的强一致性蕴含AIC的强一致性，颠覆了经典直觉。
• 通过模拟研究与真实数据分析，比较所提方法与原始KOO方法及经典准则的收敛速度与性能表现。

实验结果

研究问题

• RQ1 在何种高维条件下，AIC在多变量线性回归中具有强一致性？
• RQ2 在高维设置下，BIC的强一致性是否蕴含AIC的强一致性，与经典理解相反？
• RQ3 KOO方法在高维多变量回归中强一致性的必要与充分条件是什么？
• RQ4 能否构建出不依赖显式惩罚项、且在更弱维度与样本量约束下实现强一致性的通用KOO方法？
• RQ5 在有限样本中，所提通用KOO方法的收敛速度与原始KOO方法相比如何？

主要发现

• 在温和的高维条件下，若BIC具有强一致性，则AIC也具有强一致性——这与经典观点（即AIC比BIC更不保守）相悖。
• 明确推导出AIC、BIC与$C_p$强一致性的必要与充分条件，揭示了当维度随样本量增长时，其性能存在结构性限制。
• 所提出的通用KOO方法不依赖惩罚项即可实现强一致性，显著降低了对预测变量数量与样本量的要求。
• 模拟研究显示，所提两种通用KOO方法的收敛速度明显快于原始KOO方法。
• 真实数据分析证实，所提方法在高维设置下相较于经典准则与原始KOO方法，表现出更优的性能与更强的一致性。
• 理论分析确认，关键二次型的渐近行为在很大程度上取决于设计矩阵与误差结构的谱分布，尤其通过Stieltjes变换与迹函数体现。