[论文解读] Spike and slab Bayesian sparse principal component analysis

Bo Ning, Ning, Ning|arXiv (Cornell University)|Jan 30, 2021

Bayesian Methods and Mixture Models参考文献 5被引用 7

一句话总结

本文提出了一种新颖的尖峰与贝叶斯稀疏主成分分析（SPCA）方法，采用参数扩展坐标上升变分推断（PX-CAVI），以解决载荷矩阵中的正交性约束问题。该方法在载荷与正交矩阵乘积上采用尖峰与贝叶斯先验，实现了高效计算，并在模拟实验和真实数据分析中优于现有SPCA方法。

ABSTRACT

Sparse principal component analysis (SPCA) is a popular tool for dimensionality reduction in high-dimensional data. However, there is still a lack of theoretically justified Bayesian SPCA methods that can scale well computationally. One of the major challenges in Bayesian SPCA is selecting an appropriate prior for the loadings matrix, considering that principal components are mutually orthogonal. We propose a novel parameter-expanded coordinate ascent variational inference (PX-CAVI) algorithm. This algorithm utilizes a spike and slab prior, which incorporates parameter expansion to cope with the orthogonality constraint. Besides comparing to two popular SPCA approaches, we introduce the PX-EM algorithm as an EM analogue to the PX-CAVI algorithm for comparison. Through extensive numerical simulations, we demonstrate that the PX-CAVI algorithm outperforms these SPCA approaches, showcasing its superiority in terms of performance. We study the posterior contraction rate of the variational posterior, providing a novel contribution to the existing literature. The PX-CAVI algorithm is then applied to study a lung cancer gene expression dataset. The R package VBsparsePCA with an implementation of the algorithm is available on the Comprehensive R Archive Network (CRAN).

研究动机与目标

• 开发一种理论基础坚实、计算可扩展的贝叶斯SPCA方法，尊重主成分的正交性约束。
• 克服现有贝叶斯SPCA方法在秩大于一时后验计算不可行的问题。
• 通过灵活的尖峰与贝叶斯先验引入稀疏性，同时利用潜在正交矩阵保持正交性。
• 为变分后验建立理论后验收缩率，这是文献中的新贡献。
• 通过R包VBsparsePCA提供实用实现，便于在真实世界中应用。

提出的方法

• 提出参数扩展坐标上升变分推断（PX-CAVI）算法，以处理贝叶斯SPCA中的正交性约束。
• 在载荷矩阵与潜在正交矩阵乘积上使用尖峰与贝叶斯先验，实现稀疏性与正交性。
• 通过最小化变分近似与真实后验之间的Kullback-Leibler散度，推导变分后验。
• 引入参数扩展，以改善变分推断过程中的混合与收敛性。
• 通过潜变量期望的计算，推导出变分参数（包括载荷的均值与精度矩阵）的闭式更新。
• 引入一种EM类算法（PX-EM），用于对PX-CAVI算法进行对比评估。

实验结果

研究问题

• RQ1 具有尖峰与贝叶斯先验的贝叶斯SPCA方法是否能在保持计算可扩展性的同时，实现载荷的稀疏性与正交性？
• RQ2 PX-CAVI算法在估计精度与变量选择性能方面，相较于现有SPCA方法表现如何？
• RQ3 该贝叶斯SPCA框架中变分后验的理论后验收缩率是多少？
• RQ4 参数扩展的引入如何提升正交性约束下推断的效率？
• RQ5 所提出的方法是否能有效识别高维基因表达数据中的生物学相关基因？

主要发现

• PX-CAVI算法在数值模拟中显著优于两种主流SPCA方法，表现出更优的估计精度与变量选择性能。
• 建立了变分后验的后验收缩率，为该方法的一致性提供了理论依据。
• PX-CAVI算法在$ p \gg n $的高维设置下，能更优地恢复真实的稀疏成分。
• 该方法成功识别出肺癌基因表达数据集中具有生物学意义的基因通路，展示了实际应用价值。
• R包VBsparsePCA已发布于CRAN，支持该方法的可重现与便捷应用。
• PX-EM算法作为有效的EM基替代方案，验证了PX-CAVI框架的稳健性。