[论文解读] On the geometry of Bayesian graphical models with hidden variables

Raffaella Settimi, Jim Q. Smith|arXiv (Cornell University)|Jul 24, 1998

Bayesian Modeling and Causal Inference参考文献 9被引用 36

一句话总结

本文研究了贝叶斯图模型中包含隐变量时似然函数和后验分布的几何结构，揭示了参数不可识别性、先验敏感性以及典型后验形状的洞察。通过分析似然函数的流形几何，为存在缺失数据的复杂贝叶斯网络提供了基础理解。

ABSTRACT

In this paper we investigate the geometry of the likelihood of the unknown parameters in a simple class of Bayesian directed graphs with hidden variables. This enables us, before any numerical algorithms are employed, to obtain certain insights in the nature of the unidentifiability inherent in such models, the way posterior densities will be sensitive to prior densities and the typical geometrical form these posterior densities might take. Many of these insights carry over into more complicated Bayesian networks with systematic missing data.

研究动机与目标

• 理解包含隐变量的贝叶斯有向图模型中似然函数的几何结构。
• 通过参数空间的几何性质，分析此类模型中不可识别性如何产生。
• 利用几何直觉，研究后验密度对先验分布的敏感性。
• 刻画在存在隐变量时后验分布所呈现的典型几何形态。
• 将简单模型中的洞察推广至具有系统性缺失数据的更复杂贝叶斯网络。

提出的方法

• 将似然函数视为由模型参数空间定义的流形上的几何对象进行分析。
• 运用微分几何研究包含隐变量的模型中似然曲面的曲率与奇点。
• 考察费舍尔信息度量与参数空间几何之间的关系。
• 利用似然几何的洞察，推断在不同先验下后验分布的性质。
• 通过利用结构相似性，将简单模型中的发现推广至具有缺失数据的更复杂贝叶斯网络。
• 依赖于对参数空间的理论分析，而非数值优化或模拟技术。

实验结果

研究问题

• RQ1 似然函数的几何结构如何揭示具有隐变量的贝叶斯图模型中的不可识别性？
• RQ2 后验密度对先验选择的依赖性，如何通过几何结构体现出来？
• RQ3 在具有隐变量的模型中，后验分布通常呈现何种典型的几何形态？
• RQ4 似然曲面的几何特性如何影响推理算法的收敛性与行为？
• RQ5 从简单模型中获得的洞察，在多大程度上可推广至具有系统性缺失数据的复杂贝叶斯网络？

主要发现

• 包含隐变量的模型中，似然函数表现出奇点和非正则几何，导致固有的不可识别性。
• 由于参数空间的退化几何，后验密度对先验分布高度敏感。
• 后验分布的典型形态受似然流形的曲率与奇点的约束。
• 几何分析表明，标准的后验集中性渐近近似在包含隐变量的模型中可能失效。
• 具有隐变量的简单模型中的洞察可推广至涉及系统性缺失数据的更复杂贝叶斯网络。
• 在对应于不可识别配置的参数空间区域，费舍尔信息度量是退化的。