[论文解读] Rotation Invariant Householder Parameterization for Bayesian PCA

Rajbir-Singh Nirwan, Nils Bertschinger|arXiv (Cornell University)|May 12, 2019

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了一种基于Householder变换的旋转不变参数化方法，用于贝叶斯概率主成分分析（PPCA），以消除后验分布中的旋转对称性。通过利用随机矩阵理论，推导出新参数的先验分布，该先验在不使用雅可比校正的情况下保持了原始模型的分布特性，从而在Stan中实现了高效且可解释的推断，并能生成有意义的因子载荷后验总结。

ABSTRACT

We consider probabilistic PCA and related factor models from a Bayesian perspective. These models are in general not identifiable as the likelihood has a rotational symmetry. This gives rise to complicated posterior distributions with continuous subspaces of equal density and thus hinders efficiency of inference as well as interpretation of obtained parameters. In particular, posterior averages over factor loadings become meaningless and only model predictions are unambiguous. Here, we propose a parameterization based on Householder transformations, which remove the rotational symmetry of the posterior. Furthermore, by relying on results from random matrix theory, we establish the parameter distribution which leaves the model unchanged compared to the original rotationally symmetric formulation. In particular, we avoid the need to compute the Jacobian determinant of the parameter transformation. This allows us to efficiently implement probabilistic PCA in a rotation invariant fashion in any state of the art toolbox. Here, we implemented our model in the probabilistic programming language Stan and illustrate it on several examples.

研究动机与目标

• 解决由似然和后验中的旋转对称性引起的贝叶斯PPCA不可识别性问题。
• 消除后验密度相等的连续子空间，这些子空间会阻碍MCMC采样效率和参数解释。
• 提供一种重新参数化方法，保持原始模型分布的同时实现主成分的唯一识别。
• 开发一种计算高效的算法，与通用推断工具箱（如Stan）兼容。
• 将该方法扩展至非线性模型，如高斯过程潜在变量模型（GP-LVM）。

提出的方法

• 使用Householder变换对因子载荷矩阵进行参数化，将无约束参数映射到Stiefel流形上的正交矩阵。
• 利用奇异值分解（SVD）将载荷矩阵分解为正交分量和奇异值。
• 应用随机矩阵理论的结果，推导出与原始载荷矩阵上的高斯先验相匹配的Householder参数的诱导先验。
• 通过依赖随机矩阵理论中的已知分布性质，避免显式计算雅可比行列式。
• 在Stan中使用新参数化实现模型，从而支持高效的哈密顿蒙特卡洛采样。
• 在合成数据和威斯康星州乳腺癌数据集上验证该方法，并与标准PPCA和GP-LVM进行比较。

实验结果

研究问题

• RQ1 如何在不改变模型联合分布的前提下，消除贝叶斯PPCA后验中的旋转对称性？
• RQ2 基于Householder变换的参数化是否能够在保持原始先验分布的同时，实现主成分的唯一识别？
• RQ3 是否可能在不显式计算雅可比行列式的情况下，推导出Householder参数上的诱导先验？
• RQ4 所提出的方法如何提升PPCA和GP-LVM中后验样本的采样效率和可解释性？
• RQ5 该方法能否扩展至具有旋转对称似然的非线性潜变量模型？

主要发现

• 基于Householder的参数化成功消除了后验中的旋转对称性，使得因子载荷的后验样本具有唯一性和可解释性。
• 通过随机矩阵理论推导出的Householder参数诱导先验，与原始载荷矩阵上的高斯先验完全匹配，避免了雅可比校正。
• 在合成数据和真实世界数据中，采样效率显著提升，马尔可夫链收敛至唯一模式，而非在对称子空间中游走。
• 在威斯康星州乳腺癌数据集上，该方法生成的后验估计与经典PCA一致，同时量化了因子载荷的不确定性。
• 该方法成功扩展至GP-LVM，消除了潜在空间中的旋转对称性，并实现了有意义的后验推断。
• 在Stan中的实现无需修改底层采样算法，证明了其与标准概率编程工具的兼容性。