[论文解读] Multiclass Sparse Discriminant Analysis

Qing Mai, Yi Yang+1 more|arXiv (Cornell University)|Apr 22, 2015

Sparse and Compressive Sensing Techniques参考文献 11被引用 24

一句话总结

本文提出了一种新型多类稀疏判别分析方法，通过统一的优化框架同时估计所有判别方向。该方法在超高维设置下实现了变量选择的一致性和收敛速率的理论保证，在二分类情况下与既有的二分类稀疏LDA方法等价，且在模拟数据和真实数据上表现出更优的实验性能。

ABSTRACT

In recent years many sparse linear discriminant analysis methods have been proposed for high-dimensional classification and variable selection. However, most of these proposals focus on binary classification and they are not directly applicable to multiclass classification problems. There are two sparse discriminant analysis methods that can handle multiclass classification problems, but their theoretical justifications remain unknown. In this paper, we propose a new multiclass sparse discriminant analysis method that estimates all discriminant directions simultaneously. We show that when applied to the binary case our proposal yields a classification direction that is equivalent to those by two successful binary sparse LDA methods in the literature. An efficient algorithm is developed for computing our method with high-dimensional data. Variable selection consistency and rates of convergence are established under the ultrahigh dimensionality setting. We further demonstrate the superior performance of our proposal over the existing methods on simulated and real data.

研究动机与目标

• 解决现有多类稀疏判别分析方法缺乏理论依据的问题。
• 开发一种可将二分类稀疏LDA推广至多类问题的方法，实现所有判别方向的同时估计。
• 在超高维设置下建立理论性质，如变量选择一致性和收敛速率。
• 提供一种计算高效的算法，适用于高维数据。
• 展示其分类性能优于现有方法（如稀疏最优评分法和ℓ1-惩罚Fisher判别法）。

提出的方法

• 提出一种统一的优化框架，同时估计所有多类判别方向，避免顺序或贪心选择。
• 采用带ℓ1正则化的惩罚似然形式，以在判别方向中引入稀疏性。
• 通过变换矩阵的特征分解求解，该矩阵涉及协方差逆矩阵与类间散点矩阵，确保与贝叶斯规则子空间对齐。
• 采用块坐标下降算法，并设计高效的更新策略以支持高维计算。
• 通过理论证明在两分类情况下与二分类稀疏LDA等价，建立与贝叶斯规则的联系。
• 依赖一种新颖的浓度不等式论证，以界定估计误差并推导收敛速率。

实验结果

研究问题

• RQ1 能否在超高维设置下开发一种具有强理论保证的多类稀疏判别分析方法？
• RQ2 所提出的方法在高维分类中是否能实现变量选择一致性与最优收敛速率？
• RQ3 与顺序或单独估计相比，同时估计判别方向在性能和理论性质上表现如何？
• RQ4 当应用于二分类情况时，该方法是否与现有二分类稀疏LDA方法等价？
• RQ5 在真实数据和模拟数据上，该方法与稀疏最优评分法及ℓ1-惩罚Fisher判别法相比，实验表现如何？

主要发现

• 所提方法在超高维设置下实现了变量选择一致性，即以高概率正确识别出真实的非零预测变量。
• 该方法的分类风险收敛速率为O(λ^{1/3})，其中λ为正则化参数。
• 在二分类情况下，估计的判别方向与两种著名二分类稀疏LDA方法（如直接稀疏判别分析和正则化最优仿射判别）的估计结果等价。
• 在模拟数据和真实数据集上，该方法在分类准确率方面均优于稀疏最优评分法和ℓ1-惩罚Fisher判别法。
• 开发了一种高效的块坐标下降算法，使该方法能够处理具有数千个特征的高维数据。
• 理论分析表明，在满足正则性条件时，估计的判别方向以依赖于稀疏性和信号强度的速率收敛至真实方向。