[论文解读] XPCA: Extending PCA for a Combination of Discrete and Continuous Variables

Clifford Anderson-Bergman, Tamara G. Kolda+1 more|arXiv (Cornell University)|Aug 22, 2018

Statistical Methods and Inference参考文献 1被引用 8

一句话总结

本论文提出XPCA，一种主成分分析（PCA）的新扩展，通过结合高斯拷贝（Gaussian copula）与非参数边际分布，处理混合数据类型——连续型、离散型和有序型变量。与传统PCA或COCA不同，XPCA在似然函数中对离散变量的区间边界进行积分，实现合理的降维与插补，同时保持数据范围约束。其主要贡献是一种基于统计学原理、基于似然的建模方法，在包含离散或半连续变量的异质数据集上，性能优于PCA与COCA。

ABSTRACT

Principal component analysis (PCA) is arguably the most popular tool in multivariate exploratory data analysis. In this paper, we consider the question of how to handle heterogeneous variables that include continuous, binary, and ordinal. In the probabilistic interpretation of low-rank PCA, the data has a normal multivariate distribution and, therefore, normal marginal distributions for each column. If some marginals are continuous but not normal, the semiparametric copula-based principal component analysis (COCA) method is an alternative to PCA that combines a Gaussian copula with nonparametric marginals. If some marginals are discrete or semi-continuous, we propose a new extended PCA (XPCA) method that also uses a Gaussian copula and nonparametric marginals and accounts for discrete variables in the likelihood calculation by integrating over appropriate intervals. Like PCA, the factors produced by XPCA can be used to find latent structure in data, build predictive models, and perform dimensionality reduction. We present the new model, its induced likelihood function, and a fitting algorithm which can be applied in the presence of missing data. We demonstrate how to use XPCA to produce an estimated full conditional distribution for each data point, and use this to produce to provide estimates for missing data that are automatically range respecting. We compare the methods as applied to simulated and real-world data sets that have a mixture of discrete and continuous variables.

研究动机与目标

• 为解决PCA在多变量数据分析中处理非正态分布、离散或有序变量的局限性。
• 将概率PCA框架扩展至容纳异质数据类型，且无需假设边际分布为参数形式。
• 开发一种基于似然的建模方法，对离散变量通过区间积分实现似然计算，提升模型拟合度与插补准确性。
• 在混合类型数据集中实现保留取值范围的缺失数据矩阵补全。

提出的方法

• XPCA使用高斯拷贝来建模变量间的依赖结构，将边际分布与依赖关系解耦。
• 通过经验分布函数估计非参数边际分布，从而灵活适应任意连续或离散边际。
• 对于离散变量，似然通过对应于每个离散值的区间边界进行积分计算，而非使用点质量（point masses）。
• 该方法采用负对数似然（NLL）损失函数，通过标准正态分布的累积分布函数（CDF）计算区间概率。
• 采用主要化-最小化（majorization-minimization）算法优化NLL，实现收敛，并通过U与V矩阵的迭代更新处理缺失数据。
• 插补通过使用拟合模型估计每个数据点的完整条件分布完成，确保预测值保持在有效范围内。

实验结果

研究问题

• RQ1 能否将基于似然的PCA框架扩展至处理混合离散与连续变量，同时保持统计严谨性？
• RQ2 在异质数据集上，XPCA与PCA及COCA相比，在降维与插补准确性方面表现如何？
• RQ3 与点质量近似相比，对离散变量采用基于区间的似然积分是否能提升模型拟合度与预测性能？
• RQ4 XPCA在缺失数据的矩阵补全任务中，尤其在包含离散或零膨胀变量时，相较于现有方法有多大的性能优势？
• RQ5 COCA中使用的中点排序方法是否显著提升离散数据的性能？其与XPCA的区间积分方法相比表现如何？

主要发现

• 在包含离散或半连续变量的数据集上，XPCA在插补准确性和模型拟合度方面显著优于PCA与COCA。
• 在模拟的零膨胀与离散数据上，当使用中点排序处理重复值时，XPCA的均方误差（MSE）显著低于COCA。
• 与最大秩法相比，COCA中使用中点排序使MSE降低了38%，凸显其在处理离散数据重复值时的重要性。
• XPCA通过为每个数据点估计完整条件分布，实现保持取值范围的插补，避免预测值超出有效范围。
• 所提出的拟合算法收敛稳定，支持缺失数据的矩阵补全，且在混合变量类型下保持统计一致性。
• 在真实NBA与美国参议员投票数据上的实证结果证实，XPCA能够有效揭示潜在结构，并支持异质数据中的预测建模。