[论文解读] Probabilistic Contrastive Principal Component Analysis

Didong Li, Andrew Jones+1 more|arXiv (Cornell University)|Dec 14, 2020

Spectroscopy and Chemometric Analyses参考文献 32被引用 8

一句话总结

本文提出概率对比主成分分析（PCPCA），这是一种生成式、基于模型的对比PCA（CPCA）扩展方法，支持严谨推断、不确定性量化以及对缺失数据的鲁棒处理。通过构建相对似然目标函数，并采用梯度下降法进行最大相对似然估计，PCPCA在捕捉前景特异性变异方面优于CPCA和PPCA，尤其在存在噪声和缺失数据的情况下表现更优，同时将PCA、PPCA和CPCA统一为该概率框架下的特例。

ABSTRACT

Dimension reduction is useful for exploratory data analysis. In many applications, it is of interest to discover variation that is enriched in a "foreground" dataset relative to a "background" dataset. Recently, contrastive principal component analysis (CPCA) was proposed for this setting. However, the lack of a formal probabilistic model makes it difficult to reason about CPCA and to tune its hyperparameter. In this work, we propose probabilistic contrastive principal component analysis (PCPCA), a model-based alternative to CPCA. We discuss how to set the hyperparameter in theory and in practice, and we show several of PCPCA's advantages over CPCA, including greater interpretability, uncertainty quantification and principled inference, robustness to noise and missing data, and the ability to generate data from the model. We demonstrate PCPCA's performance through a series of simulations and case-control experiments with datasets of gene expression, protein expression, and images.

研究动机与目标

• 为解决对比主成分分析（CPCA）中缺乏正式概率模型的问题，该问题限制了统计推断和超参数调优。
• 开发一种生成模型，以捕捉相对于背景数据集的前景数据集特有变异，排除共享变异。
• 实现不确定性量化、严谨推断和数据生成——这些能力在CPCA中缺失。
• 相比CPCA和PPA等现有方法，提升对噪声和缺失数据的鲁棒性。
• 将PCA、PPCA和CPCA统一为单一概率框架下的特例。

提出的方法

• 构建一个相对似然目标函数，通过比较模型在前景与背景数据集上的拟合程度，实现严谨的对比学习。
• 引入最大相对似然估计（MRLE）作为推断方法，避免对明确定义的似然函数的依赖。
• 推导出仅基于观测数据的梯度下降算法，支持在存在缺失值时进行优化。
• 采用包含共享成分与前景特异性成分的潜变量模型，实现对比变异与共享变异的分离。
• 通过因子载荷矩阵和噪声方差的最大似然估计对模型应用于数据，使用Adam和梯度更新进行优化。
• 证明在特定参数设置下，PCA、PPCA和CPCA均可作为PCPCA的特例出现。

实验结果

研究问题

• RQ1 如何为对比降维构建正式的概率模型，以实现不确定性量化和严谨推断？
• RQ2 调优参数γ在控制前景与背景变异关注程度方面具有怎样的理论与实际作用？
• RQ3 PCPCA能否在存在噪声和缺失数据的情况下，优于CPCA和PPCA以识别对比结构？
• RQ4 PCPCA中的相对似然目标函数与标准似然模型相比，在鲁棒性和可解释性方面表现如何？
• RQ5 PCPCA能否在真实世界生物和成像数据集中有效生成合成数据并填补缺失值？

主要发现

• 在模拟数据中，随着缺失数据比例增加，PCPCA的重建误差低于PPCA，表明其对缺失值具有更强鲁棒性。
• 在小鼠蛋白表达数据集中，即使60%的数值被遮蔽，PCPCA仍保持较高的轮廓系数，表明聚类结构完整性得以保留。
• PCPCA在填补缺失前景值方面的误差始终低于PPCA，证实其在缺失数据恢复方面表现更优。
• 该模型成功捕捉了基因和蛋白表达数据集中与疾病相关的转录变异，在识别生物相关对比成分方面优于CPCA和PPCA。
• PCPCA的几何解释与概率公式化使得不确定性量化和数据生成成为可能，而这些特性在CPCA中缺失。
• 理论分析表明，γ控制着对前景与背景方差的关注平衡，最优值可通过模型稳定性条件推导得出。