[论文解读] Semiparametric Sparse Discriminant Analysis

Qing Mai, Hui Zou|arXiv (Cornell University)|Apr 17, 2013

Statistical Methods and Inference参考文献 31被引用 4

一句话总结

本文提出稀疏半参数判别分析（SSDA），一种高维分类方法，通过使用未知单调变换对预测变量建模，放宽了高斯假设，从而实现同时的特征选择与贝叶斯规则估计。在 log p 的增长速度慢于 n^{1/3} 的条件下，SSDA 在半参数高斯齐聚（semiparametric Gaussian copulas）的新型指数浓度界下，以极高概率实现一致的变量选择与估计。

ABSTRACT

In recent years, a considerable amount of work has been devoted to generalizing linear discriminant analysis to overcome its incompetence for high-dimensional classification (Witten & Tibshirani 2011, Cai & Liu 2011, Mai et al. 2012, Fan et al. 2012). In this paper, we develop high-dimensional semiparametric sparse discriminant analysis (HD-SeSDA) that generalizes the normal-theory discriminant analysis in two ways: it relaxes the Gaussian assumptions and can handle non-polynomial (NP) dimension classification problems. If the underlying Bayes rule is sparse, HD-SeSDA can estimate the Bayes rule and select the true features simultaneously with overwhelming probability, as long as the logarithm of dimension grows slower than the cube root of sample size. Simulated and real examples are used to demonstrate the finite sample performance of HD-SeSDA. At the core of the theory is a new exponential concentration bound for semiparametric Gaussian copulas, which is of independent interest.

研究动机与目标

• 解决经典线性判别分析（LDA）与稀疏线性判别分析（LDA）在高维非正态设定下的局限性。
• 将半参数LDA（SeLDA）推广至具有超高维特征（p >> n）的高维数据。
• 开发一种方法，可在稀疏性假设下同时实现变量选择与贝叶斯规则估计。
• 在弱分布假设下建立该方法的理论一致性，特别是放宽高斯假设。

提出的方法

• 提出一种半参数模型，其中在给定类别标签的条件下，经变换的预测变量（h_j(X_j)）服从多元正态分布，且变换函数 h_j 未知且单调。
• 使用经验分布函数，通过反正态得分非参数地估计变换函数 h_j。
• 对变换后的数据应用直接稀疏判别分析（DSDA），以实现同时的特征选择与分类。
• 在 log p 的增长速度慢于 n^{1/3} 的条件下，建立变换估计量的统一一致性。
• 推导出半参数高斯齐聚的新型指数浓度界，这是理论分析的核心。
• 采用高维估计框架，结合L1-惩罚优化，以确保估计判别方向的稀疏性。

实验结果

研究问题

• RQ1 能否开发一种半参数判别分析方法，以处理超高维数据，同时放宽高斯假设？
• RQ2 在何种条件下，该方法可在高维设定下一致地选择真实特征并估计贝叶斯规则？
• RQ3 能否在不假设参数形式的前提下，在高维下一致地估计变换函数 h_j？
• RQ4 该方法的性能如何依赖于维度 p 与样本量 n 之间的关系？
• RQ5 在非高斯、高维数据下，能否为变量选择与分类误差提供理论保证？

主要发现

• 当 log p 的增长速度慢于 n^{1/3} 时，SSDA 以极高概率实现一致的变量选择与贝叶斯规则估计。
• 该方法计算高效，复杂度随 p 线性增长，使其可扩展至超高维问题。
• 通过半参数高斯齐聚的新型指数浓度界建立了理论保证，该界本身具有独立研究价值。
• 在模拟与真实数据上的实证结果表明，该方法在有限样本下表现优异，尤其在非正态设定下。
• 与经典及参数LDA相比，该方法在非正态数据中表现更优，验证了放宽高斯假设的优势。
• 理论分析表明，在较弱正则性条件下，变换函数的估计量具有统一一致性。