[论文解读] Non-Gaussian Mixtures for Dimension Reduction, Clustering, Classification, and Discriminant Analysis

Katherine Morris, Paul D. McNicholas|arXiv (Cornell University)|Aug 28, 2013

Bayesian Methods and Mixture Models被引用 3

一句话总结

本文提出了一种广义双曲混合模型，用于聚类、分类和判别分析中的降维，通过按特征值排序的原始变量线性组合来捕捉与聚类相关的子空间。该方法能稳健处理偏态聚类，在模拟数据和生物数据中均优于现有技术，所有比较中表现均更优。

ABSTRACT

We introduce a method for dimension reduction with clustering, classification, or discriminant analysis. This mixture model-based approach is based on fitting general-ized hyperbolic mixtures on a reduced subspace within the paradigm of model-based clustering, classification, or discriminant analysis. A reduced subspace of the data is derived by considering the extent to which group means and group covariances vary. The members of the subspace arise through linear combinations of the original data, and are ordered by importance via the associated eigenvalues. The observations can be projected onto the subspace, resulting in a set of variables that captures most of the clustering information available. The use of generalized hyperbolic mixtures gives a ro-bust framework capable of dealing with skewed clusters. Although dimension reduction is increasingly in demand across many application areas, the authors are most familiar with biological applications and so two of the three real data examples are within that sphere. Simulated data are also used for illustration. The approach introduced herein can be considered the most general such approach available, and so we compare re-sults to three special and limiting cases. We also compare with well several established techniques. Across all comparisons, our approach performs remarkably well.

研究动机与目标

• 开发一种统一的降维框架，将基于模型的聚类、分类和判别分析整合于一体。
• 解决现有方法在处理高维数据中偏态、非高斯聚类结构时的局限性。
• 通过分析组均值和协方差的变异，识别出能保留大部分聚类信息的低维子空间。
• 将所提方法与三种广义双曲模型的特例及多种成熟技术进行比较，以验证其稳健性与有效性。
• 在真实世界生物应用和模拟数据场景中展示该方法的实用价值。

提出的方法

• 通过基于关联特征值重要性的原始变量线性组合推导出降维子空间。
• 分析组均值和组协方差以确定变异程度，指导降维子空间的构建。
• 在降维子空间上拟合广义双曲混合模型，以稳健地建模复杂且偏态的聚类分布。
• 将观测值投影到降维子空间，得到保留关键聚类信息的低维表示。
• 将该方法嵌入基于模型的聚类、分类和判别分析范式中，实现一致的统计推断。
• 将该方法与广义双曲模型的三种极限情况及多种成熟技术进行比较，以评估性能。

实验结果

研究问题

• RQ1 如何在统一的基于模型的框架中，有效结合降维与聚类、分类和判别分析？
• RQ2 与基于高斯的替代方法相比，使用广义双曲混合模型在处理偏态、非高斯聚类结构时，性能提升程度如何？
• RQ3 与广义双曲模型的三种特例及成熟的降维与分类技术相比，所提方法的性能表现如何？
• RQ4 基于组均值与协方差变异的子空间选择对聚类准确率和可解释性有何影响？
• RQ5 在真实世界场景中——特别是生物应用中——该方法相较于现有方法有何实际优势？

主要发现

• 所提方法在所有比较中均表现出极强的性能，优于广义双曲模型的三种特例及多种成熟技术。
• 使用广义双曲混合模型能够稳健地建模偏态聚类，而标准高斯基方法则难以有效捕捉此类结构。
• 基于特征值排序的线性组合所导出的降维子空间，成功捕获了原始数据中大部分聚类信息。
• 该方法在模拟数据和两个真实生物数据集上均表现出强劲的实证性能，证实了其实际应用价值。
• 比较结果一致表明，一般模型优于其极限情况，验证了其完整复杂度的必要性。
• 该框架是目前可用的最通用的方法，为多变量分析任务中的降维提供了全面的解决方案。