[论文解读] Sparse Quadratic Discriminant Analysis and Community Bayes

Ya Le, Trevor Hastie|arXiv (Cornell University)|Jul 17, 2014

Face and Expression Recognition参考文献 5被引用 7

一句话总结

本文提出稀疏二次判别分析（SQDA），一种通过组套索惩罚实现类特定精度矩阵间共享稀疏性的正则化分类方法，从而获得具有稀疏交互项的可解释模型。此外，本文提出群体贝叶斯框架，基于稀疏性结构将特征划分为条件独立的群体，提升高维数据下的分类准确率与可解释性。

ABSTRACT

We develop a class of rules spanning the range between quadratic discriminant analysis and naive Bayes, through a path of sparse graphical models. A group lasso penalty is used to introduce shrinkage and encourage a similar pattern of sparsity across precision matrices. It gives sparse estimates of interactions and produces interpretable models. Inspired by the connected-components structure of the estimated precision matrices, we propose the community Bayes model, which partitions features into several conditional independent communities and splits the classification problem into separate smaller ones. The community Bayes idea is quite general and can be applied to non-Gaussian data and likelihood-based classifiers.

研究动机与目标

• 解决当样本量相对于特征维度较小时，传统QDA性能不佳的问题。
• 通过正则化在交互项中引入稀疏性，克服密集QDA在可解释性方面的局限。
• 在QDA与朴素贝叶斯之间架起桥梁，开发具有共享稀疏模式的灵活模型路径。
• 提出一个通用框架——群体贝叶斯，利用特征间的条件独立性以提升分类准确率与模型可解释性。
• 将该方法扩展至非高斯数据及超越高斯假设的似然性分类器。

提出的方法

• 对所有K个类特定精度矩阵中的(i,j)元素施加组套索惩罚，以强制实现共享稀疏模式。
• 最大化包含组套索项的惩罚对数似然函数：$\sum_{k=1}^{K} \left[ \frac{n_k}{2}\log\det \mathbf{\Theta}^{(k)} - \frac{1}{2}\sum_{g_i=k}(x_i - \mu_k)^T \mathbf{\Theta}^{(k)}(x_i - \mu_k) + n_k\log\pi_k \right] - \frac{\lambda}{2}\sum_{i\neq j}\|\theta_{ij}\|_2$。
• 通过样本均值与比例估计类均值与先验概率：$\hat{\mu}_k = \frac{1}{n_k}\sum_{g_i=k}x_i$，$\hat{\pi}_k = \frac{n_k}{n}$。
• 利用估计精度矩阵的连通分量定义特征群体，其中每个群体内的特征在其余特征给定下条件独立。
• 通过在每个群体内分别求解分类问题，并组合结果以获得最终预测，应用群体贝叶斯方法。
• 建立估计精度图的连通分量与阈值化样本协方差图的连通分量之间的理论等价性，确保群体检测的一致性。

实验结果

研究问题

• RQ1 能否开发一种正则化QDA方法，通过在类特定精度矩阵间诱导共享稀疏性，实现模型灵活性与可解释性的平衡？
• RQ2 对跨类精度矩阵元素施加组套索惩罚，如何影响估计交互项的结构与模型可解释性？
• RQ3 能否利用估计精度矩阵的连通分量结构，将特征划分为条件独立群体以提升分类性能？
• RQ4 与标准QDA或朴素贝叶斯相比，群体贝叶斯框架是否能在高维设置下提升分类准确率与计算效率？
• RQ5 在适当条件下，基于估计精度图的群体检测是否与基于阈值化样本协方差矩阵的检测结果一致？

主要发现

• 组套索惩罚成功在所有类特定精度矩阵间诱导出共享稀疏模式，产生稀疏交互项，显著提升模型可解释性。
• 估计精度矩阵的连通分量与通过阈值化类内样本协方差矩阵获得的分量完全一致，验证了群体检测方法的有效性。
• 群体贝叶斯模型在高维设置下分类准确率优于QDA与朴素贝叶斯，得益于对特征间条件独立性的有效利用。
• 该方法具有理论一致性：在适当条件下，估计的群体结构以高概率匹配真实潜在群体结构。
• 在给定λ下，估计精度图的连通分量所诱导的顶点划分，嵌套于更高λ下的划分中，确保了层次一致性。
• 错误群体检测的概率被控制在$\frac{K}{p^2}$以内，表明在高维渐近条件下具有强理论一致性。