[论文解读] Quadratic Discriminant Analysis under Moderate Dimension

Qing Yang, Guang Cheng|arXiv (Cornell University)|Aug 29, 2018

Bayesian Methods and Mixture Models参考文献 18被引用 4

一句话总结

本文研究了在中等维度情形下（即维度 $p$ 与样本量 $n$ 成比例增长）的二次判别分析（QDA）。研究发现，当 $p/n \to c \in (0,1)$ 时，标准样本 QDA 会退化为随机猜测；为此，本文提出了一种广义 QDA，通过自适应地调整缩放与偏移参数来校正维度效应，利用随机矩阵理论和一种分而治之的筛选方法，在‘简单’与‘困难’情形下均实现了近似最优性能。

ABSTRACT

Quadratic discriminant analysis (QDA) is a simple method to classify a subject into two populations, and was proven to perform as well as the Bayes rule when the data dimension p is fixed. The main purpose of this paper is to examine the empirical and theoretical behaviors of QDA where p grows proportionally to the sample sizes without imposing any structural assumption on the parameters. The first finding in this moderate dimension regime is that QDA can perform as poorly as random guessing even when the two populations deviate significantly. This motivates a generalized version of QDA that automatically adapts to dimensionality. Under a finite fourth moment condition, we derive misclassification rates for both the generalized QDA and the optimal one. A direct comparison reveals one "easy" case where the difference between two rates converges to zero and one "hard" case where that converges to some strictly positive constant. For the latter, a divide-and-conquer approach over dimension (rather than sample) followed by a screening procedure is proposed to narrow the gap. Various numerical studies are conducted to back up the proposed methodology.

研究动机与目标

• 分析当数据维度 $p$ 与样本量 $n$ 成比例增长时，经典样本 QDA 的性能表现，且不施加总体参数的结构性假设。
• 阐明为何在中等维度下标准 QDA 会失效，特别是在 $p/n \to c \in (0,1)$ 时，即使总体均值存在显著差异。
• 构建一种广义 QDA，以自适应方式校正样本均值与协方差估计器在 $L_2$ 范数与谱范数下的维度效应。
• 在数据四阶矩有限的条件下，推导广义 QDA 与最优 QDA 的理论误分类率。
• 提出一种基于维度（而非样本量）的分而治之策略，结合筛选方法，以缩小困难情形下的性能差距。

提出的方法

• 提出一种广义 QDA 规则，通过缩放因子调整二次型 $D_i(\mathbf{z})$，通过偏移因子调整对数行列式 $\log|S_i|$，以校正维度偏差。
• 利用随机矩阵理论推导分类规则中关键项的渐近分布，特别关注涉及迹与二次型的 $T_1$、$T_2$ 和 $T_3$ 项。
• 引入一种基于维度的分而治之策略，将特征空间划分为子空间，并通过筛选减少有效维度，从而提升估计精度。
• 在数据四阶矩有限的假设下，推导广义 QDA（$R^G$）与最优 QDA（$R^O$）的渐近误分类率。
• 通过 $\mathbf{z}^0$ 变换将变量转化为标准正态分布，以实现分类统计量的渐近正态近似。
• 建立理论证明：误分类率差距 $\mathrm{Diff} = R^G - R^O$ 在‘简单’情形下收敛于零，在‘困难’情形下收敛于一个正常数，具体取决于 $\zeta_1$ 或 $\zeta(\epsilon)$ 的发散性。

实验结果

研究问题

• RQ1 为何在 $p/n \to c \in (0,1)$ 时，即使总体均值差异显著，标准样本 QDA 仍会退化为随机猜测？
• RQ2 在无结构性假设的中等维情形下，样本 QDA 与最优 QDA 的渐近误分类率为何？
• RQ3 能否构建一种广义 QDA，使其能自适应地校正均值与协方差估计中的维度效应？
• RQ4 在何种条件下广义 QDA 可实现近似最优性能？何时 $R^G$ 与 $R^O$ 的差距保持远离零？
• RQ5 如何通过基于维度的分而治之策略结合筛选方法，改善‘困难’情形下 $R^G$ 与 $R^O$ 之间差距收敛于正数时的分类性能？

主要发现

• 当 $p/n \to c \in (0,1)$ 时，样本 QDA 的性能可能差至与随机猜测相当（$R^S \to 0.5$），即使总体均值差异显著。
• 在‘简单’情形下，误分类率差距 $R^G - R^O$ 收敛于零，表明广义 QDA 实现了近似最优性能。
• 在‘困难’情形下，差距 $R^G - R^O$ 收敛于一个严格为正的常数，表明广义 QDA 与最优 QDA 之间存在持续的性能差距。
• 所提出的广义 QDA 在‘简单’情形下实现了渐近误分类率 $R^G \xrightarrow{i.p} 0$，与最优规则性能一致。
• 结合筛选的基于维度的分而治之方法，通过降低有效维度，有效缩小了‘困难’情形下的性能差距。
• 理论分析表明：$R^O \xrightarrow{i.p} 1 - \Phi(T/\psi)$ 与 $R^G \xrightarrow{i.p} 1 - \Phi(\widetilde{T}/\widetilde{\psi})$，其收敛性取决于 $\zeta_1$ 或 $\zeta(\epsilon)$ 的发散性。